Stable Diffusion & Flux

Продолжаю мучить StableDiffusion от Automatic1111. В этот раз я попытался сгенерировать… ну как попытался, чего прибедняться – сгенерировал Джил. Третья из главных героев моей книги, студентка двадцати двух лет.

С Джил всё немного интереснее в плане референсов в реальности. Их нет. Кросс и Мэйтт имеют свои прототипы, на основе которых и базируется их внешность. Для Джил реального образа или человека не существует. Тем не менее, после нескольких часов генерации я нашёл почти идеальное попадание в мою интерпретацию образа.

Знакомьтесь, Джил Форт:

Самые прозорливые могут обратить внимание, что изображения выглядят несколько неестественно. Слишком гладкая, кукольная кожа. По сути, в этих изображениях я доволен двумя вещами – взгляд и схожесть с образом в моей голове. Но нейросеть творит чудеса преображения. Ща покажу.

На генерации Мэйтта я уже научился расширять изображение, заставляя SD дорисовывать недостающие элементы фона на пустых местах. Сказано – сделано. Вот что получилось:

Всё ещё неестественно, кукольность никуда не делась, даже несмотря на то, что я немного обработал кожу. Да и фон какой-то… ну, никакой. В общем, мне не хватило идеи. Что с этим делать, я придумал не сразу, а поэтому решил попробовать воспроизвести сцену из конца книги, с другим сгенерированным изображением.

Вот это нечто справа от Джил – вышло совершенно случайно. Я рандомно генерировал ту область, прокручивая варианты, и на одном из них появилась эта «голограмма». Более того, у «голограммы» было женское лицо. Его пришлось убрать, слишком чётким оно получилось, но вот остальное – просто находка.

Дальше вот эти молнии на лице. Будто дикая энергия бурлит в Джил, прорывая кожу светящимися трещинами. Это уже не случайность, но добиться этого стоило стольких нервов и усилий… Сначала простым перебором (да и ещё таким, который минимально меняет картинку, чтобы не потерять схожесть образа). Потом я нашёл в SD замечательный инструмент Sketch. Там можно схематично изобразить, что нужно, и нейросеть дорисует по этой схеме + промпт. Спасибо жене, я ж вообще не умею рисовать, а она умеет. Помогла нарисовать молнии.

После добавления молний захотелось больше хаоса. С учётом того, что происходит по сюжету. В дело пошёл Inpaint. Я закрашивал отдельные области, говорил «генерируй изображения только в них» и писал в промптах нечто вроде: «искры, размытие, сияние, гало, аура», комбинируя их так и сяк. По итогу получилось вот это:

Кстати, для шлифовки этих артов пришлось пройти ускоренные курсы фотошопа. Дело в том, что в некоторых изображениях сгенерировались детали, которые хотелось бы видеть в основном арте (молнии и некоторые искорки). Пришлось вырезать их, перенести. Пришло понимание, что в связке с фотошопом возможности поистине безграничны.

Но это ещё не всё. Вернёмся к предыдущему изображению. Мне понравились попытки в концептуальность. Не просто делать портрет персонажа, а вкладывать идею в арт. Пусть даже иногда идея вкладывается нейросетью посредством случайности. Кто я такой, чтобы спорить?

Я начал менять фон с высоким параметром Denoising strength, который позволяет сильно изменять картинку. И в какой-то из многих генераций выскочило вот это:

В общем, рандом сам подкинул идею, резонирующую с идеей Джил, как персонажа. В чём смысл – по книге, Джил слышит голоса. Не спойлер, прям в аннотации так написано. Только захотелось сделать это не таким… реальным. Начинаем генерировать левую часть, превращая её в эфемерность, воображение, метафизику, аниме.

В процессе StableDiffusion ещё несколько раз удивил меня рандомом. Дело в том, что нейросетка очень любит женские лица. И при высоком разрешении и высоком параметре изменения картинки подсовывает эти лица при любом удобном случае, стоит только зазеваться. Пример:

В данном случае, это только на руку. Итак. После нескольких часов получилось вот что:

Сверху – подруга Джил, Элиза. Хотя тут у нас с женой возникли разногласия. Она сказала, что Элиза в самом низу. Что ж, не могу никому указывать, только напомню, ЧТО Я ТУТ АВТОР, МОЁ СЛОВО – КАНОН!

Итог. Я не устану повторять, что я в восторге. Чем глубже я погружаюсь в нейросеть, чем больше изучаю её возможности, тем больше приходит понимание, что можно делать с её помощью.