Stable Diffusion & Flux

Первое что нам нужно это расширение Steps animation, открываем Extensions, Available, Load from, находим Steps animation, жмем Install, обратно на вкладку Installed и жмем Apply and restart UI и собственно все было бы готово если бы не долбанный FFmpeg который придется поставить ручками, потому что у меня он ни разу не поставился автоматом как должен, а он очень нужен и для других расширений.

1. Качаем архив c FFmpeg тут открывается обычным WinRAR.

2. Распаковываем архив в папку C:\ffmpeg чтобы в конечном итоге у вас получился вот такой путь до файла C:\ffmpeg\bin\ffmpeg.exe

3. Копируем текст - Изменение переменных среды текущего пользователя жмем кнопку win на клавиатуре и затем ctrl+v и enter, если все сделано правильно, то у вас открылось окно переменные среды. Если нет, то вот тут инструкция с картинками но на английском.

4. Кликаем на переменную Path в разделе Системные переменные, затем Создать, затем просто вставляем путь C:\ffmpeg\bin\ и сохраняем все.

5. Вы великолепны.

Готово теперь у вас появился новый пункт на всех страницах с генерацией Steps animation

Выглядит не очень приветливо, но максимально прост в эксплуатации

Script Enabled - Если не включена, то видео не будет генерироваться, снимайте когда не нужна, ибо ЗНАЧИТЕЛЬНО замедляет генерацию.

Галки Codec используйте x264 на данный момент это самый востребованный и актуальных кодеков, но можете попробовать и другие, если знаете что делаете.

Interpolation метод интерполяции между шагами, то, как скрипт попробует дорисовать отсутствующее переходы между кадрами, лично мне симпатичен Blend либо вообще без интерполяции. Попробуйте какой милее вашему глазу.

Interpolation - blend

Interpolation - mci

Interpolation - none

Duration длительность анимации, сколько установите такой длины и будет в секундах.

Skip steps позволяет пропускать часть шагов вместо этого они будут дорисованы интерполяцией, большого смысла не вижу использовать.

Delete intermediate удалить кадры после создания видео, удаляет папку с кадрами после того как создано видео.

Create animation если не нажата, то видео не будет создано, только кадры из которых вы сможете сами создать анимацию в стороннем редакторе.

Path for intermediate files и Path for output animation file - путь до папок с кадрами из которых собирается анимация и путь до папки с анимацией, по умолчанию папки будут созданы внутри стандартных выходных txt2img-images и img2img-images соответственно.

Если видео создается маленьким и не красивым - Отправляемся в Settings - Live Previews - и в разделе Image creation progress preview mode и нажимаешь на Full на то время пока генерируешь гифки, не забудь вернуть потом обратно, иначе замедлишь себе генерацию, я обычно использую Approx NN.

А вы знали, что Live preview subject позволяет переключить то, что изображено на превью, можно делать превью только негативного промпта и контролировать изменения таким образом.

И вот у тебя в папке stable-diffusion-webui\outputs\txt2img-images\animation появилось небольшая тепленькая куча свежих видео, но как сделать их гифками, ведь видео сами не воспроизводятся в Телеграм например. Просто используй любой онлайн конвертор, мне показался неплохим вот этот, у него совсем нет настроек, если знаешь лучше кидай в комменты буду благодарен.

А теперь секрет миксинга

Если написать в промпте конструкцию вида [brutal man:dinosaur:20] и поставить 50 шагов, то первые 20 шагов будет генерироваться брутальный мужчина, а после 20 шагов будет генерироваться динозавр. Отличный лайфхак чтобы замисковать несколько объектов или тем, попробуйте совместить фентези стиль и киберпанк, например.

И вот тут самое время проверить чему вы научились с созданием гифочек, жду ваши результаты в комментарии.

Нейро-канал где я учусь разбираться с нейросетями вместе с вами, подписывайтесь

Чат нейро-операторов где можно задать вопросы и поделиться опытом

Учусь работать с нейро-сетями вместе с вами в своем телеграм канале. Подписывайтесь там красиво и интересно. В нашем чате нейро-операторов всегда можно поделиться опытом и попросить совета.

Если понравилось поставьте Бунтарке плюсик =)

Как мы знаем в img2img можно делать потрясающие вещи, поменять изображение, дорисовать, исправить, сделать вариации, но все это часто кропотливая и долгая работа которая требует усидчивости и прямых рук. Или нет?

С масками глубины вы сможете поменять фон или самого персонажа, изменить цвет или свойства предмета в несколько кликов.

Что такое маска – это трафарет который накладывается на изображение.

Например захотелось нам сделать Бунтарку орком, нет ничего проще, открывает Inpainting, закрашиваем лицо, пишем в промпт orc face - готово.

Inpainting и обычная маска

Результат нормальный, можно поиграться с ползунками, сделать еще немного лучше. Но зачем, если все то же самое можно сделать буквально в один клик и без рисования маски руками?

Inpainting и маска глубин

Что такое маска глубины – это специальный алгоритм который определяет глубину изображения и создает маску с разной прозрачностью в наиболее контрастных местах, обычно объект который в фокусе закрашивается более интенсивно, а который не в фокусе - фон, не закрашивается.

Установка такая же как и всех других расширений и скриптов, идем в Extension и находим в списке Available расширение depthmap2mask, кликаем Install, затем Reload UI и возвращаемся в img2img.

Находим в скриптах новый - Depth aware img2img mask

Всего три ползунка, а сколько удовольствия

Настройки

Contrasts cut level - уровень контрастности при обрезки - при создании маски задает интенсивность контрастности по которому рисовать маску 0 - минимум, по умолчанию, прозрачными будут только те участки что контрастнее всего (в фокусе). 255 - максимум, прозрачным будет все. Позволяет добиться более аккуратного результата

Contrasts cut level 0 и 125, чем выше тем меньше прозрачности

Contrasts cut level 0 и 125 градиент более тонкий и затрагивает только самые контрастные области

Match input size - Галка задать размер области в соответствии с изображением, если выбрана маска будет такого же размера как изображение, в противном случае размер задается ползунками ниже. Задав размер маски специально меньше чем изображение можно получить некачественную размытую маску. А если больше, то наоборот более качественную маску с более тонкими градиентами.

Разрешение маски 128х128 и 1024х1024

Invert DepthMap инвертирование маски служит для того, чтобы покрыть маской не тот объект который в фокусе, а наоборот инвертировать выделение, например выделить фон. И это фантастическая вещь чтобы в один клик изменить фон.

Легким инвертированием маски глубины на фоне появляется orc face

Save alpha crop галочка вырезает то, что было в маске. Например таким образом можно вырезать фон для дальнейших манипуляций или самого персонажа

Save alpha crop создает еще одну картинку с вырезанной маской.

Override mask blur to 0 и Override inpaint to original перезаписывает значение этих же опций из блока inpainting

Turn the depthmap into absolute black/white - делает маску полностью черно-белой, что приводит к более резким краям и полному отсутствию переходов, зато так можно вырезать объект без фотошопа.

Save alpha crop + turn the depthmap into absolute black/white + Invert DepthMap жестко выделяет и вырезает объект

Модели создания маски три

Модели создания маски три и все три делают маски немного иначе. Я просто оставлю тут три сравнения моделей с просторов интернета.

Возможности использования масок глубины ограничиваются только вашим воображением.

Скидывайте то что получилось в комментарии.

Подписывайтесь на мой канал в телеграм, мне будет приятно, а вам красиво и интересно

В чате нейро-операторов можно поделиться опытом и получить совет