Stable Diffusion & Flux

Еще больше работ можно найти в моем телеграмм канале,там я публикую каждый день свои работы https://t.me/neirosea
Оставляй комментарий как тебе мои работы

промт

(full body:1.8),

a woman with a sword standing in front of a full moon, artwork in the style of guweiz, she has a crown of flowers, regal dark blue clothes, insane intricate, funeral veil, angel with black wings, red robes, crane, 5 fingers). full body, as a tarot card, official character illustration, navy

((best quality)), ((masterpiece)), detailed soft oil painting, detailed background, dramatic cinematic lighting, soft edge lighting, professional, dramatic lighting, hard edge lighting,

ultra quality, 4k,(masterpiece, best quality, 8k, ultra highres, highres:1.4), extremely detailed <lora:add-detail-xl:0.7>

Negative prompt: BadDream,intricately , paintings, sketches, (worst qualit:2), (low quality:2), (normal quality:2), lowers, normal quality, ((monochrome)), ((grayscale)), spots, acnes, skin blemishes, age spot, (outdoor:1.6), manboobs, (backlight:1.2), double navel, muted arms, hused arms, neck lace, analog, analog effects, (sunglass:1.4), nipples, nsfw, bad architecture, watermark, (mole:1.5), EasyNegative

Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2806537822, Size: 768x1024, Model hash: d248c4c7c2, Model: NewDreamSDXLV8, VAE hash: 15e96204c9, VAE: sdxl_vae.safetensors, Lora hashes: "add-detail-xl: 9c783c8ce46c", Version: v1.4.0-310-g68f336bd

Паровозик, который смог (генеративный нейросети, в частности Stable Diffusion, что это и зачем)

Не смотря на название статьи, речь пойдет не о паровозике, а о поезде, который несется на бешенной скорости, но в который вы еще можете успеть запрыгнуть. А именно - о генеративных нейросетях.

Дисклеймер. Статья на тему "что это вообще такое, и как к этому относиться" для тех, кто вообще не в теме, от человека, который использует это в своей профессиональной деятельности, а не создает нейросети.

Помните, как все начиналось? Когда появилась первая нейросеть от NVidia, которая по простому скетчу из пейнта могла нарисовать гору, если сообщить ей, что это гора? Все такие "ну ок, прикольненько, типо пейнт с кнопкой деланья красиво", но на этом все закончилось. Но потом вышла Midjourney. Когда вышла Midjourney отношение было уже другое. Сперва был восторг, от того, как же круто оно делает, после, буквально через пол часа, ужас от того, что роботы победили человека в том, что считалось исключительно человеческим достоинством и достоянием, а именно - в творчестве. Дальше события развивались с бешенной скоростью. Прошло несколько AntiAI бунтов на разных площадках для художников (типо ArtStation), жаркое обсуждение, несколько законов, пару судебных прецедентов в основном по авторским правам (абсолютно бредовых и неадекватных, по такой же логике нужно забрать все авторские права у режиссеров фильмов, ведь не они же фильмы снимают, а операторы). Но дальше... разочарование. Потому что оказалось, что эта штука хоть и делает очень красивые, "вкусные" и атмосферные картинки, тем не менее эти картинки в 99% случаев абсолютно "пустые" и бесполезные. Графика ради графики. Да еще и без сисек.
Те, кто не связаны с изобразительным искусством, просто потыкали, получили прилив серотонина, ощутив себя великими творцами, да и ушли заниматься своими делами. Те же, кто на хлеб зарабатывает при помощи ИЗО, быстро охладели к этой теме, и поняли, что это не карандаш, который рисует как надо, а в лучшем случае третий помощник, способный подкинуть пару идей, и то не факт, что удачных.
Ну вот попросит условный заказчик нарисовать "такую же девушку, в таком же стиле, только в брекетах", и что? А все, тупик. Если нейросеть и нарисует девушку, то не такую, или без брекетов, а "такую же, но в брекетах" - уже никак. Красиво, прикольно, но юзлесс (бесполезно). Такой вывод сделали большинство тех, кто "потыкал" нейросеть год назад. Ну а дальше просто то и дело где то в сети всплывают красивые "бесполезные" картинки из разряда "как нейросеть видит Зевса и лошадь в яблоках" или "если бы Гарри Поттер жил в чикаго во времена сухого закона". Забавно, но не более. И на этом все вроде как и закончилось с этими нейросетями. Кто то для чего то их использует, но для чего - вообще не понятно. Да и зачем?

Но что если я вам скажу, что за год мир генеративных нейросетей перевернулся, просто вы еще этого не успели заметить? И этот поезд разгоняется с бешенной скоростью.

Дальше пойдет разговор о такой генеративной нейросети как Stable Diffusion.
Думаю те, кто ее пробовал год назад, пришли к выводу, что "не торт, да и миджорни лучше". Тогда почему именно о ней?
Потому что разработчики этой нейросети сделали "ход конем" и выложили ее в открытый доступ, сделав "опенсорс", и "понеслась".
Для начала она устанавливается на локальную машину, а не используется на сервере. На крайний случай используется в облаке (гугл колаб), но там не удобно. Колаб подходит разве что для тренировки моделей, но не для работы по генерации сложных изображений. Ну а так, как она локальная и опенсорсная, то можно ее настраивать так, как хочется, а не так, как настроил ее в облаке разработчик (как в случаи с миджорни), и это дает очень много возможностей.

Сейчас, всего за год, Stable Diffusion обросла таким количеством бесплатных моделей, плагинов, пре и постпроцессоров, интерпретаторов, обработчиков и референсов (с настройками), что охватить все - не хватит времени. И более того, каждый день этого всего появляется больше, чем вы способны успеть выучить (я теперь понимаю, как выглядит сингулярность, а главное, как она ощущается). Это не 3д макс, где за 5 лет добавили одну кнопку, или фотошоп, где раз в 2 года добавляют пару багов и увеличивают потребление ОЗУ х2, или корона рендер, где добавили новый материал за 3 года. Тут каждый день выходит что то новое, и не одно. Более того, за год оно сделало скачок с разрешения 512 до разрешения 1024 (базового разрешения). И сейчас при помощи этой нейросети можно создавать сложнейшие композиции, с кучей деталей, персонажей, техникой и т.д. То, чем вы восхищались еще пару лет на арстейшене, что делали условные "азиаты-ноулайферы" (как их в шутку называли), сейчас делается за час. Те картины, которые раньше занимали месяцы, и стоили тысячи долларов (за человекочасы затраченные на их создание), сейчас делаются за день. Причем делается не "как получиться", а "как нужно".

Тут стоит сделать отступление, и сказать, что значит "как получится" и "как нужно". Обычно когда люди знакомятся с генеративными нейросетями, они сталкиваются с тем, что они что от там написали, оно что то там сделало, после выбрали лучший вариант, порадовались, и готово. То-есть результат они не особо контролируют, даже если он получается "вкусным" и красивым.
И подобное особенно сильно расстроило (или обрадовало, кого как) художников, которые почему то решили, что нейросеть - это карандаш (инструмент) сродни фотошопу или 3д максу (блендеру, майе, збрашу, тысячи их).
Но нейросеть это не карандаш, это художник, который держит карандаш. Представьте, что не вы рисуете картину руками, и ведете линии, а вы даете задачу художнику нарисовать вам картину. Может заказываете на фрилансе, может вы арт-директор или проект менеджер, не важно. Рисуете не вы, вы заказчик или арт директор (первое или второе зависит от степени погружения). А нейросеть - сотрудник (художник в штате) или исполнитель (на фрилансе).

И теперь представьте, что вы приходите, и говорите "хочу робота". Какого вам робота нарисует художник? Ну, какого видит. Ведь он художник, и как он видит, так и получится. Он дает вам готовую выполненную работу, а вы говорите "да не такого робота". И художник закономерно спрашивает "а какого?". Да, конечно, человек-художник не хочет делать работу за зря, и он понимает что надо выяснить какого робота хочет заказчик до того, как его нарисовать, но суть я думаю понятна.
Но если вы покажете художнику примеры роботов, которые вам нравятся, распишете позу, детали, укажете, где у робота что должно находиться, не забудете про цвет, свет, фактуру, и в добавок ко всему этому расскажете о стилистике (аниме, реализм или что еще), то думаю что вы получите своего робота (плюс минус), если не с первого раза, то после небольших правок так точно. Ну при условии что вы друг друга понимаете и достаточно долго обсуждаете концепцию, делаете много набросков, эскизов и т.д.
Ну и конечно же это займет у вас какое то время. Несколько десятков часов на согласование, утверждение, правки и т.д. и пару месяцев на рисование (если мы говорим о каком то крутом арте, ну там, например, иллюстрации на обложку для книги).

Так вот нейросеть это тот же художник. Только важно понимать, что между вами языковый барьер. Ну условно представьте, что вы говорите на русском, художник на японском, а между собой вы общаетесь на ломаном английском, который для вас двоих не родной. Так и с нейросетью. Английский для нее не родной, и она его "понимает" по своему, через специальный "дешифратор" (интерпретатор).

И что бы получить нужный результат, нужно активно пользоваться примерами, эскизами и т.д. что бы получить то, что нужно вам, а не то, как ваше описание из двух слов видит художник (не зависимо от того, на сколько он хороший художник, от его крутости зависит качество выполнения, но не совпадение с идеей, так как даже самый крутой художник не умеет читать мысли).

Так вот, это все, что я написал выше, вроде "следование рефернсу" или "учет деталей, поз, цветовой схемы" актуальная версия Stable Diffusion умеет. Там есть специальные плагины и модули, которые позволяют загрузить позу персонажа, цветовую палитру, эскиз, референс, лайнарт и т.д. В добавок там еще можно указать зоны, какие как сделать и т.д. Ну условно мы можем указать цвет шляпы, или изображение на футболке (в разумных пределах, пока еще оно не способно перенести изображение с референса, перерисовав его на футболку персонажа, которого само и сгенерировало, например).

Но даже так, часто возникает вопрос "а вот мне надо вот так, но что бы из раза в раз, вот я сделал модель персонажа, или корабля, и вот этот корабль я теперь могу рендерить пока не надоест, а как в нейросети сделать одного и того же персонажа, стилистику и т.д.?"
Еще возникают вопросы по типу: ну вот допустим у меня здание вот такое, и мне надо что бы все комнаты были в этом стиле, плюс-минус больше или меньше стиля, но все равно оно должно быть в одном стиле, или вот мне надо сделать тут дверь, а там окно, как мне это сделать?

И это можно сделать. Делается это при помощи добавления специальных "мини моделей". В нейросети есть большая генеративная модель, обученная на тысячах изображений (чекпоинт), а есть модели поменьше, обученные на десятке изображений (лора, ликорис и т.д.), вот эти модели "делают нужного персонажа" или "нужный стиль" на всех генерациях, где они используются. Скачиваются либо готовые (тысячи их), либо делаются самостоятельно, если готовой под нужную задачу нет (либо на основе генерируемых изображений, либо изображений из интернета). Да, не со всем этот способ справляется хорошо. Например он хорошо делает людей и человекоподобных персонажей, но не очень хорошо рисует технику (один и тот же танк в разных сюжетах оно сделает немного разным).

Изображение - пример использования таких моделей стилизации на примере кофеварки:

Да, важно сказать, что в основном это все имеет отношение к тем, кто занимается 2д или концепт 3д. Иллюстраторы, концепт художники и т.д. Это все касается по большей части их. А особенно касается тех, кто зарабатывает, работая на "конечного заказчика". Так как здесь нет точных требований к единой стилистике, не нужно делать подробную раскадровку, как в каком то комиксе, и т.д.

Но это пока, за год развития. Сложно представить что будет еще через год, так как работы в этом направлении идут. Предположительно через год-два будет делаться полноценное видео (сейчас это просто покадровая генерация, и кадры не совсем между собой совпадают, получается дерганная мечта эпилептика). Думаю в недалеком будущем можно будет скормить нейросети сценарий с "заметками режиссера", и получить на выходе фильм или мультик. Ну это не в ближайший год, но в ближайшие 5 лет думаю каждый сможет снимать и делать мультики среднего уровня.
Ну по крайней мере сейчас я могу делать арты уровня топовых художников, тратя на это день (день на арт).

И да, если вдруг кто то скажет, что "ну все равно, ты же не контролируешь процесс так, как художник, у тебя получается что получается", то я повторю то, что написал выше. Относиться к нейросети нужно как к исполнителю, а не как к карандашу. Да и как тот, кто много лет занимался 3д, могу сказать, что результат в 3д тоже не получается так, как рисуешь изначально в голове. Да и как рисуешь изначально в голове? Обычно так: "тут стул, тут стол, тут окно, погнали" и по ходу добавляешь детали, освещение и т.д. пробуя разные варианты и смотря что получится, выбираешь лучший. Художники точно так же "ищут" концепт, а после его прорабатывают. Посмотрите спидпеинтинг топовых художников, сколько раз они перерисовывают скетч, меняя одежду, позу? По несколько раз, даже если опытные. Про новичков вообще говорить нечего, там либо "рисуют как рисуется", либо переделывают месяцами.

То-есть результат фактически художником тоже "генерируется" по ходу, и получается "классным" (или нет), но далеко не таким, как был изначальный план (если только художник не перерисовывает скетч, но в другой позе, как например в случае с концепт артом персонажей и т.д. или если он постоянно не сверяется с референсом, занимаясь по сути срисовыванием, но нейросеть так тоже может).

Таким образом сейчас генеративные нейросети - это мощная штука, которая если не облегчает, то ускоряет и удешевляет работу так точно. Во всяком случае в некоторых задачах. Да, есть задачи, которые нейросеть сделать не может, например она вообще не умеет в текст и цифры (генеративная нейросеть не умеет считать, вариант "сгенерируй мне три девушки" не сработает, нужно писать "девушка такая то и девушка такая то и девушка вот такая", тогда получиться три). Но это "языковый барьер", как я говорил раньше. Вы тоже не сможете читать и писать на арабском или корейском, если его не знаете в письменности, даже если умеете на нем говорить. Максимум будете срисовывать завитушки.
А в будущем генеративные нейросети будут инструментом на уровне с сценаристом, режиссером и оператором. Будут писать в титрах "Режиссер - Кристофер Нолан и AIVM Diffusion", или что то в таком роде. И желательно до того момента понимать, что такое это за "AIVM Diffusion" и с чем его едят. Если конечно не хочется остаться на обочине. Ну при условии, что вы зарабатываете на жизнь созданием иллюстраций, видео и т.д. Если же вы, условно, писатель, сценарист и т.д. то генеративные нейросети, делающие картинки, очень сильно помогут вам в работе, как минимум, вы сможете иллюстрировать свой текст, как максимум - можно делать текст на основе иллюстрации (когда муза не идет и белый лист не заполняется буквами, а издатель пинает каждый день, ловите лайфхак, как говориться).

-----

Дальше пойдут примеры моих работ (много картинок). Все работы сделаны по сценарию (по книжному описанию). То-есть это не просто "задал запрос, получил что то там". Здесь конкретно как задумывалось, так и вышло. Совпадение 80-90% с тем, что было нужно (примерно такое же совпадение у хорошего художника того, что он рисует с тем, что он придумал, совпадение же представления заказчика с представлением художника, что рисует для него картину, хорошо если будет в районе 60-70%). Ну то есть смотря на результат, я могу с уверенностью сказать "это оно". Ну или как минимум "это оно, только сделайте рога черными" (хотя рога черными тоже можно сделать, просто мне было лень тратить на это еще час)..

Важная ремарка. Я называю это именно "мои работы", потому что сделать подобное требует усилий не меньших, чем работа режиссера во время создания фильма или арт директора при работе над крупным проектом. Да, не режиссер бегает по площадке, и тягает камеру, и даже не он пишет сценарий, но считается, что именно режиссеры создают фильмы, так и тут. Только здесь я выступаю арт-директором, так как это не фильм, а статика.

В добавок стоит учитывать, что здесь нет "финальных работ" в хайрезе и т.д. Это пока только скетчи.

Обложка для книги.

Альтернативная версия (альтернативных цветовых решений я сделал три десятка за час).

Еще один вариант, отличающийся по стилистике (ретрофутуризм теперь, против сайфая, который выше). Конкретно этот вариант сгенерировал не я, а человек из дискорда на базе моего первого скетча. То-есть это пример того, что можно взять просто чужую генерацию, и сделать ее как нужно вам, если она вам "почти подходит".

Если присматриваться к деталям, то конечно можно найти мелкие огрехи. Но если бы вы это делали в 3д, и не расставляли бы здания и детали вручную, а просто насыпали бы форестпаком условным, то косяки были бы аналогичные, а что бы их не было, нужно было бы это моделить вручную месяцами (маньяки моделинга нервно хихикают, остальные тридешники вышли из чата). Если же это делать в 2д, то "рендер" был бы даже близко не такого качества. Была бы просто схематическая "мазня" (не в обиду художникам, мазней я называю те работы, где видно мазки, это не плохо, но тут очевидно, что это в стиле "реализм" (не путать с фотореализмом)). Ну а если "рендерить" такого качества в 2д, то на работу ушли бы месяцы.

Локация для той же книги: Здесь в основном использовался аутпентинг из той работы, что в самом начале.

Локация для другой книги. Задача была сделать уютную торговую улицу, ночью, с кучей света и все такое, плюс что бы было нагромождение зданий, словно к ним постоянно делали пристройки и все такое. Сделано исключительно при помощи промта, без доп плагинов.

Главная торговая улица того же города, что и работа выше (для той же книги), в дождь. Тоже в основе только запрос.

Локация "лес ужасов" для книг.

Подобную работу, как ниже, сделать уже не так просто. Тут нужно было использовать два референса, делая из них скетчи, и после совмещать их на одном кадре, что бы поучить большой корабль нужной формы, нависший над футуристическим городом. Корабль - это 3д модель, город - это референс (была взята обычная фотка манхетена кажется, превращена в скетч, после мелкие линии проигнорированы, а крупные стали основой для торчащих высотных зданий). Работа соответствует первоначальной идее на 80%. По концепции корабль размером 2-3км в длину, здания по 1-2км, их вершины возвышаются над облаками, внизу многоуровневый город с зданиями поменьше, нужно было что бы между высоких зданий были мириады огней и зданий поменьше, проглядывающихся сквозь туман, а там просто все закрыто туманом. Плюс масштаб не очень ощущается из за этого. Сложно сказать, корабль 2км или 5км. На работу ушло пол дня.

Научная база. В основе референс, из которого сделан скетч.

Альтернативная версия локации (другая модель, другой запрос, тот же скетч).

После мне так понравилось, что получилось, что я решил сделать полноценный город на каком то астероиде-комете из этого всего. Для этого использовал специальную LoRA, которую давно берег и все думал, куда бы применить. Задача была сделать мрачный шахтерский город, противостоящий плохим условиям внешней среды (концепция локации из книги). Получилось на 95%. Не получилось - над городом должны быть еще энергетические щиты. Но я сам не представляю как их сюда вписать (даже если бы я это рисовал руками).

Еще одна база в снежных горах далекой планеты. Задача была показать базу как "оазис тепла в ледяной пустыне". Плюс задача была передать масштаб, высотное здание несколько километров в высоту, крупное здание на переднем плане это космопорт-док, что вмещает корабль размером под 2км, который может стыковаться как сверху, так и зайти внутрь и полностью поместиться в здании. Буду честен, представлял я себе это не так, но то, что получилось, намного лучше, чем то, как я себе это представлял. В основе референс, из которого сделан скетч, но без "внимательного следования" ему, а просто для создания композиции кадра.

Обложка для книги. Результатом доволен на 90%. Ощущение, что чего то не хватает. Плюс виден косяк (мыло) инпента в месте перехода холма, на которой стоит девушка, в свет. Инпеинт (перерисовывание части картинки) использовал, так как изначально девушка выглядела не так, как по концепции.

Иллюстрация к эпизоду в книге и один из персонажей книги (да, не только красивости, лоснящиеся блестящие тела и сияющие доспехи, но и страдания можно делать).

Еще вариант персонажа (другое лицо) с дорисовкой локации (аутпейнтингом).
На эту дополнительную версию ушло 20 минут. Плюс локаций у меня таких (разных, с разным хламом) еще было получено три десятка за 10 минут, пока я ходил за чаем.

Дальше идет один и тот же персонаж в разных стилях (артреализм и реализм, не путать с фотореализмом).

Думаю очевидно, что это один и тот же персонаж.
Причем это только пару картинок, а у меня их под три сотни, плюс еще и куча "фансервиса" так называемого, так же по этому персонажу есть "жесть" (кровь, кишки, и вот это вот все). Но понятно, что сюда я это не буду выкладывать.

Просто представьте, сколько бы стоили все эти иллюстрации, если бы их заказывать у кого то, или сколько времени потребовалось бы, что бы нарисовать их самостоятельно (если умеется). Плюс художник в лучшем случае предоставляет один два варианта, и цена ошибки - это неделя работы. Тут же можно получить 30-60 вариантов просто пока завариваешь чай (зависит от мощности видеокарты, разрешения и вот этого вот всего).
Пока чай заварился, уже куча черновиков с разным вариантом мусора и т.д. (как пример). И не надо рендерить это все (как в 3д). Вариант уже сразу условно "финальные". И как видно - результат более чем (лучше сделают только топовые художники, берущие сотни долларов в час и полирующие результат неделями).
Ну и как я уже сказал, совпадение с идеей - 80-90%. Причем важно, что это картинки не "отшлифованные" (видно местами огрехи, в частности руки кривые, ноги и т.д. Но давайте честно, кто умеет рисовать руки? Даже профессиональные художники очень часто не очень в рисовании рук, сложно это. Еще автор комиксов под ником «чилик» шутил над этим на сайте с кексиком). Поэтому держите в уме, то это просто "черновики", если можно так выразиться, потому что сейчас книги, для которых они сделаны, не на той стадии, что бы вышлифовывать детали, так как концепция может еще поменяться.

В некоторых из работ использовались позы, в некоторых - эскизы, сделанные в 3д (как то эскиз космического корабля или города-базы с круглым зданием), в некоторых плагины для создания композиции кадра такой, какая нужна, а не такой, как получается (например, вид снизу вверх на предпоследнем кадре, или сидящая девушка на куске конструкции здания, это не случайные генерации, это именно так задумано, и так сделано).
Опять же, правило третей, правило золотого сечения и другие композиционные приемы - все это можно делать (по дефолту нейросеть рисует персонажа в центре кадра, но как видно, персонаж сидит на диване не по центру). Можно даже освещение делать свое (есть специальные модели).

Да, в работах встречаются бывает косяки. Например, видно руку на предпоследней, или на последней левая нога в районе голени (там, где начинается ботинок) очевидно длиннее, чем должна быть (ошибка в длине кости в "скелете позы", которую я выбрал, перспектива позы не совпала с перспективой кадра, нужно оредактировать скелет позы, укоротив кость). Есть еще некоторые трудности в работе с лорами. Например, нейросеть не очень хорошо изолирует LoRA, и если допустим в кадре три персонажа, и я использую лора для одного из них, то она может "зацепить" и два других. Так же лора часто влияет не только на персонажа, но и может задеть всю сцену. Ну условно если у нас лора сделана на базе референсов, где персонаж в толстовке, то сделать его в шубе будет немного сложновато, шуба будет так или иначе похожа на толстовку (формой, цветом, дизайном). Конечно это решается (например, инпеинтом шубы после того, как картинка с персонажем получена), и над этим ведуться работы у разработчиков плагинов, но когда вкусно, хочется еще, как говориться. Ну в смысле что "хочется, что бы все работало так, как хочется".

--------------------

Все не влезает в один пост (42 000 символов), поэтому продолжение поста вот тут: Паровозик, который смог (генеративный нейросети, в частности Stable Diffusion, что это и зачем), продолжение поста

Еще я даю уроки работы в SD. Контакты во второй части поста.