Stable Diffusion & Flux

1. Актуальный Automatic 1111 в коллабе или локально.

2. Промпт или изображение, с которым мы будем работать.

Установка расширения, как всегда простая: отправляемся в Extensions - Available - Load from. Находим в списке haku-img, жмем Install, Возвращаемся на вкладку Installed и жмем Apply and restart UI. Если все прошло хорошо, то у вас появилась новая вкладка Hakuimg и одноименная кнопка в txt2img и img2img прямо под картинкой.

Сегодня обновилась моя любимая модель, Rev Animated, сгенерируем в ней Бунтарку для экспериментов.

Вот что получилось у меня, теперь давайте посмотрим, на что способен наш редактор фото. Посмотрите прямо под вашу генерацию, там появились новые очень не красивые кнопочки.

Нажимайте на кнопку Hakuimg и выпадашка раскрывается, внутри есть две кнопки:

• Send to Blend позволяет вам отправить картинку в один из слоев,

• Send to Effect позволяет отправить картинку в эффекты. Давайте так и поступим.

Мы попали сразу на новую вкладку Hakuimg в раздел Effect и, как ясно из названия, тут мы можем накрутить эффекты. На первой вкладке у нас известные всем, кто работал с фото, ползуночки - тут и цветовая температура, и яркость, и контрастность, и насыщенность, и гамма с оттенком. Если предпросмотр подтупливает (да-да, еще как), просто нажимайте на синюю кнопку Refresh снизу слева, это обновит предпросмотр.

Что это нам дает? Например, я могу моментально сделать тут картинку более темной и отправить её в img2img, чтобы перегенерить. А вот прямо сейчас так и поступлю, смотрите. Шмяк на кнопку Send to img2img, и поменяю промпт немного.

Перегенирировал, и теперь она в очках, но, как видите, картинка такая же темная, как и была. А мы вернемся обратно на вкладку Hakuimg и посмотрим, что там есть еще.

На вкладке Tone Curve можно найти кривую по цветам, но работает это не так как в фотошопе, когда вы хватаете за линию и тащите, а наоборот, ползунками двигаете, а картинка чисто для визуализации. Что я могу тут сделать прикольного, кроме очевидных и правильных действий, я сделаю не очевидные и не правильные, например могу выкрутить первый ползуночек на 5 и получить вот такую кислоту.

Которую я прямо тут же отправлю в inpaint, выделю маской глаза и губы, и перегенерирую.

И вот картинка уже обрела смысл и смотрится вполне себе прилично, и это всего в пару кликов, друзья, все как мы любим. Возвращаемся в Hakuimg, ведь там еще много интересного. Например вкладочка Blur - делает Blur, вот мы его и сделаем: Blur на 5 и снова отправим все в Inpaint.

А в инпеинте мы выделим лицо маской и со средним денойзингом перегенерируем его.

И получаем отменный эффект боке без регистрации и смс, и все также в пару кликов. Возвращаемся обратно во вкладку Hakuimg. Там мы продолжаем исследовать раздел с эффектами, их тут больше чем у Майкла Бея, переходим к разделу Sketch.

И он сразу же превращает нашу картинку в нечто, напоминающие результат работы Canny в ControlNet. Думаете о том же о чем и я, пирожочки? Сохраняем картинку, кликнув правой кнопкой мышки.

А теперь откроем txt2img и закинем наш эскиз в ControlNet, выберем модель Scribble, поставим галочку Guess Mode, которая позволит нам доверить машине самой сделать прекрасное, так как она поймет это по эскизу.

При этом из промпта мы ВСЕ УБИРАЕМ, да вот так, представляете, в промпте ничего не должно быть, и генерируем. Вот что получилось у меня.

Смотрите, у нас получилась девушка, она полностью доработанная и осмысленная, и каждый раз, запуская генерацию, вы будете получать новую девушку по вашему эскизу. Если вы по работе создаете персонажей по наброскам, сейчас у вас должна быть улыбка до ушей.

Вернемся обратно на вкладку Hakuimg. Там нас ждет новый подпункт в списке эффектов, это Pixelize и, как вы догадываетесь из названия, он позволяет превратить картинку в пиксель арт. И мы даже с ней ничего дальше делать не будем, потому что это прекрасно само по себе, просто посмотрите сами.

А мы тем временем доползли до последней вкладки, которая называется Glow - свечение, стало быть тут мы можем добавить нашей картинке сияния. Ну раз можем, то добавим, и сразу же перейдем к следующей большей части - слоям. Для этого нужно нажать на выпадашку Send to Blend и там мы нажимаем на кнопочку Send to Layer1.

Мы переместились на первую вкладку Blend, здесь мы можем совместить между собой несколько слоев (по умолчанию до 5, но в настройках можно увеличить), чтобы получить совершенно другую картинку, вот один слой со свечением у меня уже есть. Еще один слой оставался у меня на вкладке img2img, где мы делали боке из блура, сейчас перенесу в один клик.

Точнее я так думал, друзья, но вынужден наблюдать классический пример не отбитого педрильника у разработчика этого прекрасного расширения, потому что как иначе объяснить такую экзотическую реализацию аккордеона с кнопками для отправки изображения…

Но все же цель свою мы достигли и отправили эту картинку на второй слой. Что у нас получилось: на первом слое у меня картинка со свечением и там все хорошо, оставляем как есть.

А на втором слое у нас картинка с боке, мы сделаем Layer2 opacity на 0.75, это сделает картинку с боке немного прозрачной и позволит свечению с 1 слоя проявится. А еще мы можем нарисовать маску, я поставлю точку на амулетик и в этом месте во 2 слое будет дырка, через которую будет просвечиваться первый слой, а у нас будет эффект свечения у амулетика.

А вот и финальный результат. По-моему отлично с учетом того, насколько быстро и просто мы его получили.

Я совершенно не владею фотошопом и ретушью, поэтому я наверняка придумал максимально скучные применения этим механизмам, а ведь тут еще можно настроить режим смешивания на каждом слое. Если придумаете как это использовать, расскажите в комментарии обязательно. А я подожду тут, пока вы напишите комментарий.

Написали? Тогда я расскажу про последнюю полезную штуку в этом расширении: на вкладке Others вы можете сделать мгновенный аутпеинтинг вашей картинки. Да, он работает хреново - просто размазывает пиксели, но в большинстве случаев большего и не нужно, ведь вы наверняка не заметили, что у картинки выше именно этим аутпеинтингом добавлено по 64 пикселя с обоих сторон. Вот! Дальше же дорабатываете что нужно в инпеинтинге, а ведь раньше приходилось ждать, пока отработают скрипты аутпеинтинга.

Друзья, я очень рад новому расширению Hakuimg, оно дает огромный простор для творчества и украсит ваши пайплайны, а как именно, пожалуйста, поделитесь со мной, я пытаюсь охватывать все сферы, но это просто невозможно, приходите и расскажите мне, как вы используете эти новые крутые технологии.

Жду вас в нашем чате нейро-операторов и на моих стримах.

----

Мой телеграм канал, все секреты и советы, мои работы, нейро-новости, промпты, ссылки на стримы и многое другое только в нем, подпишитесь!

В чате нейро-операторов, можно попросить картинку, поделиться опытом или задать вопрос.

Записи моих обучающих стримов доступны на Бусти, там же выложены ххх сеты и можно получить доступ в секретный чат, где я буду учить тебя генерить в ламповой и уютной атмосфере.

Мои видео уроки по Stable Diffusion можно посмотреть на YouTube, подпишитесь, чтобы не пропустить новые ролики.

Для начала становим расширение. Запустите автоматик, зайдите Extensions - Available - Нажмите кнопку Load from. Загрузятся расширения доступные к установке, найдите sd-webui-controlnet и нажмите Install. С расширением всё.

Теперь нужно скачать модели и я походу объясню какая и зачем.

• Модели. Есть полные версии, а так же их уменьшенные версии, заметной разницы в качестве я не обнаружил и пользуюсь уменьшенными так как SSD не резиновый.

Можете скачать все со словом control в начале. Я в основном использую 3, это depth, openpose, hed, но так как весят не много и удобно иметь под рукой, имею все.

Препроцессоры:

У всех у них одна задача, получить тот или иной контур объекта, поза, линии, силуэт чтобы затем вы могли изменить картинку не отходя от этого самого контура, позы, силуэта. Так вот теперь вы можете забрать с нее только композицию и нарисовать по ней все что угодно. В разумных пределах конечно.

canny - обводит края тонкой линией, подходит для изображений с резкими краями, например аниме

hed - толстой размазанной, смягчая края

openpose - берет только позу людей кадре, никаких краёв, а значит можно менять например фигуру. Для всего

depth - маска глубины чем ближе к камере тем белее, для всего когда нужно получить объем сцены чтобы его сохранить

normal - карта объёма

scribble - создает каракули и может создавать что-то из каракуль

mlsd - работает с ровными прямыми линиями, хорош с помещениями, чтобы передать их геометрию ну и потом перерисовать конечно.

seg- делит картинку на сегменты, затем пытается в тех же сегментах нарисовать те же объекты которые могут относиться к этому сегменту. Использовал я его примерно 0 раз, но кто знает…

После скачивания моделей поместите их по пути: ваша_папка_с_автоматиком\extensions\sd-webui-controlnet\models

После того как все сделали, полностью перезапустите стабильную диффузию.

Запускаем снова и смотрим вниз. Появилась вкладка ControlNet. Давайте сгенерируем что нибудь и сразу возьмем его позу для генерации чего-то другого.

Конечно же не обязательно генерировать. Вы можете поместить в окно контролнета любую фотографию которую хотите взять за основу.

Ставлю галку на Enable, чтобы активировать расширение. Выбираю препроцесср Openpose модель тоже openpose.

Еще пример изображения в той же позе:

А теперь давайте разберемся с настройками. По крайней мере на дату выхода статьи , в мире нейросетей все очень быстро меняется.

Enable - включить

Invert Input Color - инвертировать изображение. Бывает что вам понадобится черный контур на белом фоне, а ваша картинка имеет обратные цвета. Галка поможет

RGB to BGR - сменить компоновку пикселей. Видимо на матрицах BGR даст результат лучше, но я с такими дело не имел

Low VRAM - уменьшает требование к видеопамяти

Guess Mode - удалите промпт, контрол сам попробует понять что на картинке и повторить по своему. По мне фигня какая-то (на текущую дату)

Preprocessor - обработчик изображения которое вы скормили расширению. То есть openpose превращает изображение в позу. Из примера выше она выглядит вот так

Model - берет то что получила от препроцессора и обрабатывает.

Weight - как сильно контролнет будет влиять на композицию

Guidance Start (T) - когда вмешаться

Guidance End (T) - когда перестать

Диффузия получает изображение из шума, делает она это степами\шагами. Вы можете выбрать когда контрол нету влиять на очистку шума, а когда нет. Это уже чуть более продвинутая техника. Расскажу о ней в другой раз. В вкратце, если поставить 0 и 0.5 контрол будет контролировать общий силуэт до половины генераций, а дальше полностью отпустит вожжи и в дело вступит только диффузия.

Annotator Resolution - разрешение считывания, ставьте по самой короткой стороне вашей картинки, качество работы препроцессора должно стать лучше.

Threshold A\B - предназначены для очистки “мусора” на таких препроцессорах как canny например. Если у вас считывает что что вы не хотели бы или наоборот, поиграйте этими ползунками.

Оба максимум \ Оба минимум

С позами понятно. А остальные что?

Теперь вам не нужно долго добиваться от диффузии нужной вам композиции. Вы можете использовать любую уже созданную, хоть вами хоть кем то другим. Это только часть возможностей данного расширения, об остальных расскажу в других статьях.

Выбирайте препроцессор при принципу что вам важно взять с изображения? Только позу? Openpose. Силуэт? Depth. Нужно сохранить практически все грани, но переделать в другой стиль? Canny, hed.

На прощание нарисуем кролика:

мой промпт: cartoon rabbit, ghibli

Поделиться результатом или задать вопрос вы можете в нашем комьюнити нейроэнтузиастов.

Больше гайдов на моем канале, подписывайтесь чтобы не пропустить. Так же вы можете заказать у меня работу если не может что-то сделать сами, ну или не хотите)