4

Ответ на пост «Пресет ControlNet для переворачивания персонажей в Stable Diffusion»

Поэкспериментировав немного больше с таким способом генерации пришел к выводу / вопросам:

1. В случае генерации character sheet без inpaint-а не обойтись. У меня выходит много итераций с тем, чтобы одежда была более менее единообразно оформлена в изображениях разных поворотах. Часто сгенерированный поворот выглядит сильно хуже картинки с одним персонажем. Я так понимаю иного варианта не избежать. Или кто-то знает как все-таки сделать так, чтобы заработало? Проблема с инпеинтом, что могут теряться черты лица и тогда теряется смысл вообще генерации с character sheet промптом.

2. Самое трудоемкое. Еще хочется равномерного освещения при первоначальной генерации. Все равно background не нужен и освещенность должна быть равномерной с каждого угла. Иначе приходится устранять паразитные тени вручную.

3. Для фона пробовал "no background" и "simple background", эффект достигается но не супер значительный.

В итоге делаю с промежуточным редактированием в графическом редакторе, убирая фон и подрисовывая модели где лишние тени, но получается дольше, чем хотелось бы.

Показать полностью
102

Пресет ControlNet для переворачивания персонажей в Stable Diffusion

Друзья, буквально в прошлом гайде я вам обещал, что скоро будут появляться готовые пресеты для OpenPose в ControlNet, и вот первая ласточка. Этот пресет позволяет вам сделать художественный грид на котором будет превью персонажа. Это работает на любой модели, без лор, эмбедингов и всего прочего, т.е. вы получаете полную и абсолютную гибкость. Конечно это работает не идеально и придется поинпеинтить, но еще неделю назад я и представить не мог, что смогу создать такой грид за одну генерацию!

Не идеально, но за одну генерацию (не считая инпеинтинга лиц).

Что понадобится:

  1. Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.

  2. Промпт, эмбединг, лора или что-то еще что содержит описание нашего персонажа.

  3. Сам OpenPose пресет скачивайте тут.

Это гениально и просто

Автоматик запустили, открыли на вкладке txt2img, контролнет включили галочкой Enable, препроцессор отключили, модель поставили OpenPose, загрузили скаченный пресет в окошко в контролнет.

Это. Очень. Просто.

Практически все готово, теперь выставляем ширину в 1024, это важно. Все мы знаем глитч из-за которого при выставлении высокого разрешения персонаж начинает тупо копироваться, вот тут на этом играет на руку.

Никакой магии, только ловкость рук

Еще один момент, промпт должен начинаться с (character sheet:1.6) of 1 women... или man или orc, кто там у вас, ну и далее по тексту прмопта. Чтобы получить хороший результат прописывайте и персонажа и его одежду, немного повысьте уровень CFG, скажем до 10. И через 2-3 генерации у вас будет такой результат, который вас устроит. Дальше немного инпеинтинга и готово, в общей сложности 5-10 минут не считая генерации.

Вот так получилось у меня с промпта

А вот так с эмбединга

А на этом у меня все, скидывайте в чатик интересные пресеты, если найдете, может быть соберем коллекцию. Скидывайте свои работы, очень хочется увидеть результат от настоящего концепт артиста или игрового художника.

Скоро увидимся друзья и обязательно заходите на мои стримы.

---

Мой телеграм канал, все секреты и советы, мои работы, промпты и многое другое только в нем.

В чате нейро-операторов, попросить картинку, поделиться опытом, задать вопрос сюда.

Поддержать меня можно на Бусти, там выложены лучшие сеты и можно получить доступ в секретный чатик.

Показать полностью 6
Отличная работа, все прочитано!