Stable Diffusion & Flux

В исследовании использовалось две модели:

• nf4Flux1_nf4Bnb

• flux1-dev-Q4_1

Запрос:

1) A slim young woman (27 years old) with a serene expression and long, flowing silver hair stands waist-deep in a crystal-clear lake surrounded by towering snow-capped mountains. Her violet eyes seem to glow faintly, and she wears a simple, sheer white slip that clings to her form, partially revealing her slender figure. A delicate chain of pearls circles her neck, and her hands trace ripples in the water around her. The lake reflects the vibrant colors of a fading sunset, and a flock of birds soars overhead. On the shore, an ancient, weathered stone archway covered in moss marks the entrance to a forgotten path.

Seed: 674001118760806

2) A young woman, about 22 years old, kneels on the marble floor of a grand, ruined cathedral bathed in golden sunlight streaming through broken stained-glass windows. Her expression is sorrowful, with tears glistening in her bright blue eyes, as she clasps her hands together in silent prayer. Her wavy, ash-blonde hair falls loosely over her shoulders, haloed by the sunlight. She is dressed in a soft, flowing white gown with gold embroidery resembling angelic wings, the fabric pooling around her on the ground. A delicate gold circlet adorned with a single sapphire rests on her head, and her bare shoulders emphasize her fragile, ethereal figure. Behind her, broken pews and shattered stone columns are overgrown with vines and small glowing flowers, while a massive statue of a weeping angel looms in the background, its face cracked but still noble.

Seed: 581872097499225

Для генерации использовалась следующая схема:

Я проверял различные варианты планировщиков, доступных в ноде AddNoise:

• normal

• karras

• exponential

• sgm_uniform

• simple

• ddim_uniform

• beta

• linear_quadratic

Настройки для AddNoise:

• Steps = 20

• denoise = 0.07

Результаты

1. Первый запрос, модель flux1-dev-Q4_1. Первым идёт референсное изображение, сгенерированное без шума. Далее - с шумом, в указанном порядке планировщиков.

2. Второй запрос, модель nf4Flux1_nf4Bnb

Поскольку заметных изменений для планировщиков karras и exponential я не заметил, для второй модели я их исключил из генерации. Получился такой список:

• normal

• sgm_uniform

• simple

• ddim_uniform

• beta

• linear_quadratic

Я пробовал изменять число шагов (генерация при Steps = 40), но видимых изменений не обнаружил. А вот параметр denoise, выставленный в 0.15 уже сильно портил картинку:

Что точно можно сказать, так это то, что инжект шума влияет на финальное изображение. Я пробовал ставить добавление шума после апскейлера, но результат мне не понравился. На изображении частенько появлялись странные артефакты. Как, например, здесь:

Но в целом, детализация (и чёткость картинки) повышается.