Stable Diffusion & Flux

Google Research представляет HyperDreamBooth - новый инструмент для быстрой персонализации моделей текста в изображение. Этот инструмент использует всего одно входное изображение и способен персонализировать модель диффузии текста в изображение в 25 раз быстрее, чем DreamBooth.

HyperDreamBooth использует HyperNetwork для генерации начального прогноза подмножества весов сети, которые затем уточняются с помощью быстрой доводки для высокой точности деталей субъекта. Этот метод сохраняет целостность модели и разнообразие стилей, при этом тщательно аппроксимируя сущность и детали субъекта.

Как это работает?

Основная идея за Lightweight DreamBooth (LiDB) - это дальнейшее разложение пространства весов ранга-1 LoRa. Это достигается путем обучения модели DreamBooth в низкоразмерном пространстве весов, созданном случайной ортогональной неполной базой внутри пространства весов низкого ранга.

HyperNetwork состоит из кодера Visual Transformer (ViT), который переводит изображения лиц в скрытые особенности лица, которые затем объединяются со скрытыми особенностями веса слоя, инициированными нулями. Декодер Transformer получает последовательность объединенных особенностей и предсказывает значения особенностей веса итеративным образом, уточняя начальные веса с помощью прогнозов дельты.

Результаты

HyperDreamBooth может генерировать новые художественные и стилизованные результаты различных субъектов с значительной редактируемостью, сохраняя при этом целостность ключевых черт лица субъекта

Общественное влияние

Эта работа направлена на то, чтобы предоставить пользователям инструмент для расширения их творческих возможностей и способности выражать себя через создания интуитивным образом. Однако продвинутые методы генерации изображений могут сложным образом влиять на общество. Наш предложенный метод наследует многие возможные проблемы, которые влияют на этот класс генерации изображений, включая изменение чувствительных личных характеристик, таких как цвет кожи, возраст и пол, а также воспроизведение несправедливого смещения, которое уже может быть найдено в данных для обучения предварительно обученной модели.

Узнать подробности вы можете на странице проекта - https://hyperdreambooth.github.io/

А мы с вами ждем реализацию которую можно будет использовать в Stable Diffusion!

Больше интересных новостей из мира нейросетей ты найдёшь в источнике - Арт-нейросети от Nerual Dreming

Необходимые для установки ссылки:

• Репозиторий SD. Next: https://github.com/vladmandic/automatic

• Python 3.10.6: https://www.python.org/ftp/python/3.10.6/python-3.10.6-amd64...

• GIT: https://github.com/git-for-windows/git/releases/download/v2....

• CUDA Toolkit 12.1 - https://developer.nvidia.com/cuda-downloads

• Команда для установки SD. Next: git clone https://github.com/vladmandic/automatic

• Команда для переключения на диффузеры: webui --backend diffusers

• Ссылка на модель: https://huggingface.co/stabilityai/stable-diffusion-xl-base-...

• Скачиваем базовую модель: stabilityai/stable-diffusion-xl-base-0.9

• Скачиваем рефайнер: stabilityai/stable-diffusion-xl-refiner-0.9

◆ Мой мини-курс по SD. Next (ex. Vlad Diffusion), освойте в совершенстве новый нейро-интерфейс за пару вечеров - https://neurophotograph.ru/y/dbdf193

◆ Обязательно подписывайтесь на Бусти, там много эксклюзивного и уникального контента - https://boosty.to/neuro_art

◆ Подпишитесь на мой телеграм канал, если еще нет - https://t.me/neuro_art0

Еще больше работ можно найти в моем телеграмм канале,там я публикую каждый день свои работы https://t.me/neirosea
Оставляй комментарий как тебе мои работы


промт=
(highly detailed:1.2),(best quality:1.2),(8k:1.0),(emb-rrf-low:1.0),(many many large white tattoos on head and face and eyes:1.2),sharp focus,white skin, (award-winning photograph:1.2), (subsurface scattering:1.1) (beautiful detailed young cyborg girl:1.2), (full body:1.2), (dynamic pose:1.2), neon glow, (detailed cybernetic eyes:1.1), close shot (hyperrealistic:1.2), rpg, elden ring style, dramatic lighting, (highly detailed futuristic cityscape:1.2), (scifi:1.2), professional portrait photography, by wlop greg rutkowski jeffrey simpson alphonse mucha

Negative prompt: easynegative,simple background, no background,monochrome,black and white,(nsfw:1.2),(nude:1.2),drawing,sketch,illustration,digital painting,watercolor,cartoon

Steps: 50, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 2376829582, Size: 512x768, Model hash: 6ad5945494, Model: NewDreamMixV1