Stable Diffusion & Flux

Raizer - The Last Day of the Universe [Official Music Video]

Стенограмма интервью создана с помощью нейросети Whisper и отредактирована с помощью ChatGPT.

Илья: Друзья, всем привет! С вами Нервал Дреминг, меня зовут Илья и мы начинаем. Сегодня у нас необычный стрим, потому что у нас в гостях Антон Владимиров, лидер группы Raizer. И вы спросите меня, а причем здесь нейросети? А очень просто, друзья. Группа Raizer создала потрясающий клип на свой новый трек "The Last Day of the Universe". Это действительно потрясающая работа, выполненная с помощью нейросетей Stable Diffusion и с использованием Deforum. Мне уже не терпится показать вам эту фантастическую работу, но вчера, когда мы делали тестовый стрим, наша трансляция прервалась. Поэтому мы включим клип сейчас ненадолго и в конце включим его уже полностью. Звук мы, к сожалению, включить не можем, но заверяю вас, что трек просто потрясающий и фантастический. Что ж, давайте пообщаемся с Антоном из группы Raizer. Антон, привет, ты с нами по Zoom.

Антон: приветствую всех, приветствую зрителей. Привет, Илья. Привет, Вячеслав.

Илья: Привет, Антон. С нами тут еще за кадром Вячеслав. Антон с ним уже успел поздороваться. Вячеслав - наш режиссер трансляции в студии Alper Love, в которой я сегодня нахожусь. Антон, расскажи, как началось твоё творчество, что тебя побудило заняться музыкой?

Антон: Первое, что было, это отец включал мне в наушниках группу The Beatles. Это на меня произвело неизгладимое впечатление, что тогда это было просто новое открытие, новый мир звуковой. Поэтому я в будущем уже мечтал создавать такие миры и погружаться в них. Изначально это была меломания такая. Потом меня отправили родители по музыкальной стезе. Отправили меня в хор мальчиков, в Санкт-Петербургский, потом в музыкальную школу по классу скрипки. Поэтому я очень тяготел к музыке всегда. Потом мы уже в подростковом возрасте после школы создали свою группу на русском языке. Называлась она Underbeatz. Дальше я подумал, что надо расти и создали уже на английском языке проект Raizer, который сейчас является самым активным. Занимался всяческой production работой, написанием музыки к фильмам и играм. Всегда параллельно интересовался графикой и компьютерами. Примерно так.

Илья: честно говоря, когда я увидел ваш клип, я буквально не мог поверить, что ты сделал его сам. Это очень высокий уровень. Я знаю только пять человек в СНГ, кто способен на такое в форумах. Как тебе удалось в этом разобраться? Потому что я тоже начинал свой путь через Deforum, и мне это стоило много боли, седых волос и нервов. Как ты смог разобраться в этом?

Антон: Мне помог бэкграунд в программировании. Я увлекся программированием. Есть такая музыкальная программа, называется Reaper. Я перешел на Reaper, и на форуме Reaper, большом комьюнити, постоянно постили много разных скриптов. Меня заинтересовало, как люди это используют вообще. Я начал углубляться в Lua, это мой первый язык скриптовый. Это просто бомбическая штука, которая увеличивает твою продуктивность. Я зашел слишком далеко и перешел на C++. Я стал разбираться глубже, писать свои плагины. То, что появилось в Deforum, она не такая сложная по сравнению с C++. На данном этапе работа с Deforum и нейросетями, с Stable Diffusion достаточно сложная. Требуются постоянные обновления, либо постоянные туториалы. Приходилось забираться внутрь, смотреть, что там изменили. Автоматик это основной, я думаю, что зрители, скорее всего, знают о чем я говорю. Изначально я сам разбирался, потом узнал, что есть официальный Discord канал Deforum. Там уже быстрее все решается, потому что там есть разработчики, которые помогают быстрее делать некоторые вещи.

Илья: А с чего вообще началось твое знакомство с нейросетями?

Антон: осенью я познакомился с нейросетями, когда сделали сборку автоматика. Решил поиграться, посмотреть, что она может. До этого был опыт с Midjourney, но он дает бедные возможности. Решил попробовать Stable Diffusion, поставил себе. У меня оказалась видеокарта, поэтому мы начали играться. Мне очень понравилось. Это, конечно, игрушка, которой можно бесконечно сидеть и наслаждаться генерациями, которые происходят. Собственно, так и произошло знакомство.

Илья: это очень классно. А ты не знаком еще с ControlNet'ом, со всеми последними обновлениями, там жестоко всего нового завезли, это просто геймчейнжер.

Антон: Я дальше расскажу историю как раз всего этого. Без ControlNet ничего бы этого не было. Спасибо ControlNet'у на самом деле.

Илья: Надо скинуть ссылочку на трек и клип в чате. Где она у нас? Я, наверное, забыл ее оставить в описании. Так, да, ссылочка у нас будет в описании под видео, клип мы покажем чуть-чуть попозже. Ты говорил, что в прошлом увлекался программированием. А скажи, есть ли какая-то связь между созданием музыки в группе Raizer? У вас ведь очень техничная музыка, она электронная. Может быть, ты используешь какие-то навыки, какие-то знания из своего прошлого?

Антон: В Reaper'е есть много волшебных технических штук, которые помогают автоматизировать нудные процессы. Там есть подгонка громкости, сортировка треков и многое другое. Но создание музыки зависит от восприятия человека. То, что помогло мне в программировании музыки, это остановиться в поиске волшебного софта. Понимание внутренней работы программ позволило проще относиться к новым программам, тренировать мозг, разбираться в новых стилях и достигать определенного звука. Техническая часть важна для музыкантов и творческих людей. Надо совмещать творческое и техническое.

Илья: Я понял, это очень интересный подход. Расскажи, пожалуйста, о бэкграунде Влада. Я же так понимаю, у вас постоянных участников только ты и Влад, остальные приходящие, верно?

Антон: нет, почему? Есть еще Андрей, наш любимый барабанщик, наш великан. Сейчас нас трое. Влад музыкант изначально, у него очень развита интуиция на хиты и звук. Раньше мы больше занимались этим с Михаилом, прошлым гитаристом. Он был моим учеником, я его обучал звуку компьютерному. Он писал для меня гитару изначально, просто мы общались как друзья. Второй взгляд всегда хорошо, особенно в музыке. Влад — наиболее схожий вектор для нас. Мы понимаем, что хотим двигаться в одном направлении. Сейчас мы работаем втроем и постоянно советуемся друг с другом. Постоянно смотрим, стоит ли это того или нет, какие-то определенные кадры высматриваем, как бы хорошо они смотрятся, плохо. Вот, как здесь это пилоты с самолета. Всегда лучше это делать парой.

Илья: ну, я бы сказал, что вы пилоты космического шаттла какого-то. По вашей музыке у вас очень много космических тем, но об этом мы еще поговорим. Расскажите, как вообще возникла группа, как вообще пришла идея заниматься музыкой и заниматься именно такой музыкой. Я так понимаю, что раньше вы играли немного в другом жанре и с другим названием.

Антон: Все началось после школы, когда я познакомился с Михаилом. У него была любовь к рок-музыке, а я предпочитал электронную. Мы решили совместить эти стили и создали гибрид между роком и электроникой. Начали играть и записывать музыку, сначала в жанре рэпа. Я пошел работать на радио и познакомился с опытными диджеями, которые помогли нам улучшить звучание. У нас был небольшой танцевальный проект, и мы получили опыт выступлений. В это время я познакомился с человеком, работающим над фильмовой музыкой. Он предложил нам написать трек для сцены финального боя в одном фильме. Мы согласились, и трек понравился режиссеру. Так мы попали в саундтрек фильма "Бой с тенью-2". Это был интересный опыт для нас, альбомов у нас пока немного, но мы всегда ищем интересные концепции для новых композиций.

Илья: это очень круто.

Антон: Да, все это переросло в более серьезный уровень. Мы продолжали писать музыку, но хотели сделать что-то более романтичное. Но наши фанаты, в основном боксеры и бойцы ММА, не проявляли интереса к романтичным трекам. Мы поняли, что нас тянет к космическому и романтичному звучанию. Было сложно определить вектор развития. Но мы не хотели останавливаться. Вдохновение все еще присутствовало, и мы решили попробовать писать на английском языке. Параллельно я занимался написанием музыки для фильмов и сериалов, сотрудничая с Максимовым, который помог нам попасть в фильм "Бой с Тенью-2". Все это опыт работы над саундтреками и коммерческими аранжировками я применил в новом проекте Raizer. Мы нашли неплохой лейбл, специализирующийся на гибридной музыке, и до сих пор сотрудничаем с ним. Мы продолжаем развиваться, экспериментировать. Вот такая наша история.

Илья: да, лейбл действительно крутой. Я слушаю вас, наверное, уже лет пять, с самого практически основания. И действительно следил за каждым релизом. Поэтому сейчас мне, наверное, вдвойне приятно брать у тебя интервью. Что мы сошлись по теме нейросети, это тоже очень классно.

Антон: да, это интересно. Спасибо.

Илья: что ж, расскажи, как у вас происходит процесс создания музыки. У тебя в ВК я читал, что клип на песню "The Last Day of the Universe", вернее, наверное, сама песня, в буквальном смысле тебе приснилась. Часто такое происходит?

Антон: ну, самые лучшие треки, как ни странно, они снятся. То есть, это где-то с утра происходит, какие-то такие интересные эмоции испытываешь. И всяческие истории снятся какие-то. Вот это была особенно вдохновляющая история. Не то, что она вдохновляющая, она была отчасти даже такая потерянная. То есть, ну, как бы и вдохновляющая, и потерянная. Вдохновляющая, потому что это, типа, любовь на фоне конца вселенной. И ты просыпаешься, и просто невозможно это не записать, хотя бы идею саму изначально. Ну, наверное, это как делал Дали. По-моему, дали так делал, что он спал какое-то время, потом вставил будильник или что-то такое, потом он просыпался резко и начал рисовать.

Илья: да, нам режиссер трансляции наш рассказывает, что на самом деле Дали засыпал с карандашом над тазом. И когда он засыпал, он ронял карандаш на таз, и от громкого звука просыпался, и таким образом прерывал короткую фазу сна и записывал то, что ему пригрезилось в это время.

Антон: Вот. Ну, вот часто происходят такие истории. Ну, я специально не сплю с карандашами, поэтому... Когда приходится что-то такое, обязательно надо записывать все эти идеи, потому что, мне кажется, что это что-то из космоса, либо действительно работает воображение лучше всего. То есть, она отдохнула после ночи, и она там какие-то рисует тебе картины интересные. Хотя я об этом вообще никогда не думал, ни о последнем дне Вселенной, ни о чем. То есть, вроде кажется, что должен быть какой-то там... Фильм надо посмотреть или еще что-то. А тогда просто был день как день. Интересные такие штуки приходят. Ну, всегда любая музыка пишется с идеей. То есть, я не сажусь там за музыкальную программу, не начинаю там делать, если у меня нет идеи, если нет какого-то посыла, какой-то ситуации. То есть, всегда это должно происходить все-таки от какой-то интересной концепции. Без концепции никогда мы ничего не пишем. Поэтому мало треков, поэтому мало альбомов. Получается, с 2015-го, с 2016-го года всего два альбома полных. Ну, к сожалению, не можем писать по-другому. Поэтому всегда идея должна быть.

Илья: Расскажи, какая была идея клипа изначально. Там какая-то красивая история про андроида и компьютер, который встроен в космический корабль, насколько я понял, верно?

Антон: Да, история включает сон, который я видел о космическом корабле на краю Вселенной в последний день. Там была загадочная миссия. В одном персонаже - андроиде, мужчине, который проснулся и был активирован, а в другом - девушке, загруженной в искусственный интеллект корабля. Корабль имел свой голос, который на самом деле принадлежал живой девушке, загруженной туда. История рассказывает о их сумасшедшем путешествии, продолжающемся миллиарды лет до конца Вселенной, в рамках их миссии. Я немного развил эту историю в тексте клипа, чтобы объяснить исторический контекст и задать вопросы: зачем мы живем здесь, и какие идеи и мысли возникают о конце Вселенной. Это становится центральным вопросом в клипе и песне.

Илья: Вопрос, что будет в конце Вселенной?

Антон: да, вопрос, что будет в конце Вселенной. Мне кажется, что любовь там имеет не последнюю роль. Все-таки какая-то романтика в этом есть.

Илья: это очень классная история. Расскажи, с какими сложностями ты столкнулся. И давай покажем те видосики, которые ты мне скидывал, тестовые. Расскажи, как вообще происходили съемки, с какими сложностями ты сталкивался, какой софт использовал. Очень интересно выглядит твое лицо крупным планом, именно обработанное. Я так понимаю, что это не деформ, не стабилка. Ты это в чем-то другом делал?

Антон: Давай начну с самого начала... Все началось с того, что я начал играться с Stable Diffusion. Одновременно мы случайно наткнулись на клип "Lorn Entropy" на YouTube. Я сразу увидел, что эти визуальные эффекты и анимация идеально подходят для нашего трека. Было идеальное сочетание атмосферы и захватывающего ощущения, словно погружаешься в бесконечность. Мы очень вдохновились этими деформациями. Мы даже думали о том, чтобы связаться с создателем клипа и возможно поработать вместе, так как он уже был знаком с этим стилем. Но в процессе наших раздумий, мы обнаружили другого художника, Саганса, на Instagram. Мы думали написать ему, но тогда он объявил о том, что он работал над клипом для Linkin Park, возможно "Linkin Park Lost". Однако, нам не очень понравились кадры с Честером, они, кажется, использовали Deforum. Поэтому мы решили, что нам нужно самим пробовать и исследовать. Мы начали искать информацию о том, как это делается на GitHub и YouTube. Мы обнаружили Deform и начали экспериментировать. Генерация Deform в сочетании с нашей музыкой была потрясающей. Мы сделали несколько тестов, которые создавали удивительную атмосферу. Однако, мы поняли, что просто наблюдать за генерацией Deform без истории и музыкантов было скучно. Нам нужно было делать это интереснее. Мы начали искать альтернативные способы анимации. Я попробовал использовать алгоритм оживления изображения. Можно запустить файл "Trash Test" без цифр в формате MP4, чтобы увидеть. Он запускается и отображается. Вот такая статичная и тревожная анимация.

Илья: ну да, действительно, то, что мы видим сейчас, гораздо лучше получилось, чем вот эти вот исходные кадры.

Антон: да, там он моргал тоже сильно, рот уезжает. Видно, там, что, конечно, такое себе. Вот. Ну и потом, собственно, это был компромисс, потом подоспел ControlNet. Неожиданно и очень приятно. Как неожиданно и приятно. Вот. Который вообще перевернул игру, собственно. Можно было ставить какой-то хочешь denoising strength, но он все равно отрабатывал всю мимику, отрабатывал положение лица, самое главное. И плюс, есть такие блогеры Corridor Crew, видео-продакшн ребята, вот они подкинули идею, как можно было избавиться от вот этого моргания, которое между кадрами происходило. Ну там, собственно, есть большой туториал по созданию аниме из видео. В общем, и получился вот такой результат окончательный из видео. Можно посмотреть, вот, как выглядит видео, и видео, и анимация одновременно. Можно вот в Ock mp4 включить, показать.

Илья: да, это действительно впечатляет. А ты не думал обучить модель на своем лице, чтобы консистентнее был результат?

Антон: ну, вообще там обучено. А, ты так сделал, да? Да, да, да, там получается, что есть обучение, но, к сожалению, тогда не было, по-моему, на лоре сейчас учат или на чем-то, по-моему, на лоре, да. Сейчас максимально хорошо получается. Тогда был вариант либо лора, либо Dreambooth. Дримбооф, да, был. Дримбооф у меня просто не запускался, потому что у меня 6-гигабайтная карточка, она уже его не тянула. Поэтому мы использовали эти Hypernetworks для обучения. Так что там они обучены, но, к сожалению, когда ты отдаляешься от камеры, похожесть на человека все меньше и меньше, и меньше, и в конце там получается уже трешак. Вот, собственно, ну, музыкант с музыкантами оказалось, с приходом ControlNet оказался вопрос решен, и мы дальше уже решили, что можно и кусочек истории небольшой ставить. Все равно не получилось настолько масштабно, насколько это может получиться, потому что у меня уже сгорела видеокарта. То есть мы ее мучили, мучили, мучили, мучили, это 1060 бедную, и в конце концов она как бы выгорела просто.

Илья: то есть ты можешь сказать, что в буквальном смысле сжег видеокарту, создавая этот клип?

Антон: да, берегите свои видеокарты, лучше делайте на коллабе, если это возможно, или каком-нибудь удаленном сервисе. Вот, и она уже к тому времени сгорела, большая часть была отрендерена, но все равно требовался рендер. Подоспел как раз наш барабанщик, он приехал к нам и привез мощный компьютер, по-моему, там была, не помню, какая там карта была, но современный хороший ноутбук, 16 гигабайтами видеопамяти. Собственно, мы дорендерили музыкантов и поняли, что уже если рендерить еще историю, то это можно еще на полгода все это снимать. Вот, поэтому решили коротко обойтись, там получается сняли девочку, сняли там меня как бы во второй роли, можно показать сейчас. Вейкап. Да, можно вейкап мужчину и женщину, дальше можно показать. Да, это очень классно на самом деле, очень впечатляюще. Там видно матрас, если приглядеть, можно даже, он отрисовал то, что было загружено на матрасе. В общем, и женщина такую же.

Друзья, хотите стать мастерами нейро-арта, но не знаете, с чего начать? У нас есть идеальное решение для вас - Онлайн интенсив по Stable Diffusion - Нейробуст. Всего за два дня вы освоите базовые навыки и создадите свой первый нейро-арт. Это уникальная возможность освоить перспективную профессию будущего, пока еще есть время. Присоединяйтесь к нам и воплотите свои творческие мечты в реальность!

Илья: да, это на самом деле очень-очень классно.

Антон: открывает большие возможности для аниматоров, чтобы не рисовать все это покадрово, сейчас, мне кажется, технология разовьется еще больше, можно будет вообще делать суперплавную анимацию без малейших вообще отклонений от темы. Я думаю, что аниматоры скажут точно спасибо. То есть, если художники у нас немножко бастуют из-за анеросетей, то аниматоры, я думаю, скажут спасибо, что будет проще создавать контент, делать его лучше, работать над идеями, а не на то, что ты рисуешь 10 тысяч рисунков одинаковых в движении. Так что я думаю, что это хорошая перспектива все-таки для аниматоров.

Илья: да, действительно, с современными технологиями любой может стать креатором, аниматором. И вот, собственно, ты нам доказал, что действительно талантливый человек талантлив во всем. Самостоятельно освоил Deforum, ну это впечатляет. Какие-то у нас там еще были фоточки. Stop Ideas и History.

Антон: про Deforum я хотел сказать как раз, что Deforum не всегда возможно было контролировать процесс прям вот на сто процентов, потому что все-таки промпты, они дают хаотичные достаточно, как говорится, ракурсы. Было важно какие-то ракурсы красивые показать, поэтому еще заранее я там в фотошопе сделал коллажи, которые были инит имейджами являлись. Вот, можно посмотреть вот в Stop Ideas папочки. Да, они у нас на экране. Ага, ну вот, то есть чтобы было как бы красивее. Одними промптами не обошлось. Пришлось делать эти вот коллажи, от которых стартует картинка. Собственно, ну кто разбирается в Deforum, тот знает. Там как бы берется первая вот эта картинка, с которой стартует, и дальше уже он дорисовывает то, что у тебя в строчке. Там можно хоть из космоса перейти там к чему-то. Что там по умолчанию? Груша какая-то там в Deforum.

Илья: Груша и банан.

Антон: Груша и банан, да, это кое-что значит. Пришлось, конечно, повозиться. То есть создание нейроклипа - это не просто загрузка музыки на сайт и получение готового продукта. Это большая работа над каждым коротким эпизодом. Поэтому люди все еще нужны.

Илья: у тебя были очень крутые фотографии с историей человечества. Это меня очень впечатлило. Там был такой классный проигрыш, и идут фотографии.

Антон: да, это был history-эпизод. Нам пришлось купить фотографии, потому что уже не было сил рисовать все коллажами вручную. Мы заранее составили примерный сценарий, и это получается с помощью функции "gid images" в Deform. Это переходные кадры, по которым Deform рассчитывает и представляет историю. Также ты прописываешь движение, как все это происходит, и получаются замечательные исторические кадры.

Илья: да, мы все покажем в конце. Если мы сейчас включим видео, есть шанс, что стрим прервется на самом интересном месте. А в конце уже ничего страшного не будет. Клип действительно очень крутой и впечатляющий.

Антон: Я проникся энергетикой электро-панка, электро-рока, что меня ведет до сих пор. Потом появились радио Ultra и радио Максимум, на которых крутили много различной альтернативной музыки. Все это стало впитывать, конечно же. Так что все начиналось с The Prodigy, конечно.

Илья: Ты говорил про Beatles в наушниках, а на меня очень сильно повлияло радио Ultra, на котором я буквально вырос. Я не знаю, было ли оно в Питере, ты же вроде бы из Питера. Но наше радио точно было. Было у вас радио Ultra? Я прямо действительно слушал только его, и вырос на нем и на кассетах Киша и Арии.

Илья: Расскажи еще, какая музыка повлияла на тебя.

Антон: у меня было немного по-другому. Я учился в школе, когда был пик популярности The Prodigy. У нас во всем классе и девочки, и мальчики слушали The Fat of the Land, их альбом 97-го года. Я думал, что это какая-то гадость, и пытался слушать флэеры. Но потом я купил себе кассету The Prodigy, и услышал трек "Voodoo People", и все, я буду делать так же.

Илья: — The Prodigy — это действительно легендарный коллектив, на котором выросло много музыкантов. Расскажите о ваших ближайших планах. Планируете ли вы что-то делать в плане музыки, может быть, в плане туров? Как вы оцениваете текущее состояние индустрии шоу-бизнеса? Вы же относитесь к отечественному шоу-бизнесу, я так понимаю, сейчас нелегко приходится.

Антон: да, сейчас, конечно, тяжеловато. В основном это, кстати, большое влияние стримингов. Как бы большое влияние оказывают эти стриминговые сервисы, которые буквально заставляют музыкантов делать много контента там ежемесячно, который выходит не очень хорошо. Получается, что очень много проходной музыки. Это как соцсети, так и стриминги, они заставляют вас делать трэш-контент. Невозможно этому сопротивляться, и большие группы стали идти на поводу у стримингов, выпуская песни там каждый месяц, чтобы о себе напомнить. Я считаю, что это очень большая проблема. Гонка за количеством треков убивает индустрию музыки, делая ее пресной. Может быть, я просто старею, конечно. Но в основном это проходник, лишь бы о себе напомнить. Я считаю, что это большая проблема, о которой мало кто говорит. Просто молча выпускают треки, которые не интересны и не имеют идей.

Илья: это действительно интересно. Я подписан на Spotify и каждую пятницу вижу одних и тех же людей, которые выпускают каждую неделю новый трек просто для того, чтобы было. И где-то раз в полгода может быть выходит что-то приличное. Вот эти еженедельники пятничные... Да, к сожалению, это деградация музыкальной индустрии.

Илья: Понял твое мнение на этот счет, но вы таким не занимаетесь. У вас выходит редко, но очень круто.

Илья: Антон, планируете ли вы в будущем еще глубже углубляться в нейронные сети? Может быть, будет песня в соавторстве с chat-гпт у вас? Ну, даже не знаю, честно говоря.

Антон: ну, скорее всего, да, не могу ничего сказать. Как пойдет. Ну, вообще бы хотелось, конечно, как-то применять все эти мощности, потому что это просто интересно. Как, так сказать, участвовать в развитии. Может быть, даже потому, что сейчас очень много интересных пограничных проектов, музыкальных нейронок, которые помогают тебе, допустим, сделать интересные звуковые эффекты, интересные музыкальные решения. Возможно, они предлагают что-то новое, но пока я не слышал никаких интересных решений от нейронок. Невозможно сказать. Сейчас прогнозировать это очень опасно. Как будет развиваться? Мы смотрим на эту большую волну. Да, смотрим на эту большую волну цунами из нейронок и тоже так сидим. Интересно, что будет дальше. Что там у нас? Да.

Илья: А теперь появились аудио нейронки, которые позволяют синтезировать голос вообще любого исполнителя. У меня вот есть идея, синтезировать голос Горшка из группы Король и Шут и свежие песни Князя, синтезировать с помощью голоса Горшка, посмотреть, что будет.

Антон: ну вот как раз для уже умерших артистов это интересное решение, что можно продолжать их историю. Хотя это похоже уже на некромантию.

Илья: да, действительно похоже.

Антон: ну, может быть, это будет иметь смысл. Не знаю, не знаю. Мне сложно сказать, честно говоря, со своей точки зрения.

Илья: но, с другой стороны, ты можешь обучить новую нейронку на своем голосе, синтезировать треки с помощью текста, например. Что может экономить время.

Антон: Я бы так не стал делать, потому что все-таки я ценю честность в том, что если я, допустим, буду синтезировать это все с помощью нейронки, то об этом надо как бы говорить, что это синтезировано нейронкой. Или там делать какие-то куски небольшие, синтезированные нейронкой. Все-таки люди, они пока что выкупают эту честность, выкупают то, что ты делаешь сам. И мне, кажется, нейронки это пока что просто такой как спецэффект, который можно где-то применять. Не знаю, как будет в будущем. Опять же, ничего не говорю заранее. Все может быть.

Илья: что ж, у меня закончились вопросы, поэтому я думаю, мы будем закругляться. Антон, спасибо тебе большое за интересную беседу. В конце мы включим клип и обязательно все это посмотрим. Теперь ты знаешь, что к нам тоже можно обращаться, если тебе понадобится помощь с нейронками. У меня крупнейшее сообщество по нейронкам вообще в Рунете. Очень много классных ребят, которые, я думаю, тоже согласятся помочь поучаствовать в таких классных проектах, как ты делаешь. Хочу еще сказать спасибо студии Alper Love за то, что приютила нас. Вот так вот она выглядит. Да, вот у нас на самом деле, в самом деле, настоящая студия, хотя выгляжу я совершенно иначе на кибер фоне.

Антон: да, конечно, обязательно развивайтесь, всегда будьте на волне технологий, всегда будьте впереди планеты всей. Это все интересно. Я думаю, что нас ждет интересное будущее. Надеюсь, оно будет к нам благосклонно.

Илья: что ж, на этой чудесной ноте мы заканчиваем наш выпуск. Дальше у нас будет играть клип группы Razor - The Last Day of the Universe. А я с вами прощаюсь. С вами был Нервал Дреминг. Пока-пока.

Ссылки на группу Raizer

Слушать музыку:

• Apple Music: https://music.apple.com/us/artist/raizer/1123092916

• YouTube: https://www.youtube.com/raizermusic

Все ссылки на странице: https://raizer.net/follow-raizer/

Список моих полезных ресурсов

• Арт-нейросети от Nerual Dreming основной телеграм канал по нейросетям - подпишитесь, чтобы быть в курсе всего!

• Nerual Dreming на YouTube тут проводятся стримы и выкладываются гайды - подпишитесь!

• Nerual Dreming на Boosty - записи всех стримов, ххх сеты, ассеты и секретные гайды только для подписчиков, и доступ в чат для самых продвинутых.

• Чат нейро-операторов - общайтесь, задавайте вопросы, делитесь опытом с более чем 700 нейро-операторами.

Работы не очень сложные но и я менее месяца учусь генерировать в SD, если интересно посмотреть что получается создал канал в телеграмм: https://t.me/+DEo7hX87sJhjOWUy

Если что, говорим про автоматик, инструкция по установке тут

Этот скрипт позволяет делать такие сетки картинок, чтобы проще было увидеть в чем разница между настройками и выбрать наилучший вариант.

Зачем?

Удобно:

1. Один раз указываем основные параметры как при обычной генерации

2. Выбираем скрипт в выпадающем меню

3. Указываем параметры которые хотим менять и их значения

4. Один раз нажали кнопку, а скрипт сделает остальную работу

Найти мы его можем в списке с остальными скриптами, внизу интерфейса.

В раскрывающемся меню выбираем X/Y/Z plot и видим перед собой параметры скрипта.

Начнем с нижней части, там все быстро и просто.

Draw legend - если стоит, будет добавлять белый фон с подписями со значениями параметров

Keep -1 for seeds - по умолчанию, при генерации создаст один случайный сид и будет с ним генерировать всю сетку (галочка не стоит), если вы хотите чтобы для каждой картинки в вашей сетке выбирался случайный сид то ставьте галочку (важно чтобы и в основных параметрах тоже стоял -1, а то вы поставите галочку и он будет для всех ставить тот сид, который в основных параметрах)

Include sub images - показывает в превьюшках картинки, которые нагенерировал
Include sub grids - показывает в превьюшках сетки, которые нагенерировал (когда используются все оси)

Grid margins (px) - добавит отступы между картинками (на картинке 24px)

Swap кого/с кем axes - поменяет местами настройки на указанных осях.
(если у полей были разные настройки, например названия сэмплеров и шаги, то при смене они могут показаться пустыми, нужно еще раз выбрать тот же type)

Кстати эта иконка рядом с полем для указания значений, вставит в него все возможные варианты. Типа вы хотите менять сэмплер и по нажатию на кнопку он вставит в поле все сэмплеры что есть. Такая кнопка появляется для всех полей, в которых есть возможность выбора или прописаны параметры по умолчанию.

Теперь переходим к самому важному, тут тоже нет ничего сложного.
Ось type - настройка которую мы хотим менять
Ось values - значение этой настройки

При смене букв, меняется только расположение картинок.
Для X изменения будут показываться горизонтально, для Y - вертикально, а для Z - на отдельной сетке (так как на 2d картинке нет третьего измерения)

Осталось только разобраться с параметрами которые можем менять. Мы быстренько разберем только те, которые есть по умолчанию, потому что расширения также могут добавлять свои настройки в этот список. Например controlnet добавит такие

Но нас интересуют основные

Красные (выбор из того, что есть)

Sampler - выбор сэмплера
Checkpoint name - выбор модели
Hires upscaler - выбор апскейлера, если стоит галочка у hires. fix
VAE - выбор VAE
Styles - выбор стилей

Зеленые (конкретные значения)

Seed - основной сид
Var. seed и Var. strength - когда пытаемся смешивать несколько сидов. Тоже самое что и под галочкой extras в основных параметрах, интересующиеся могут глянуть тут
Steps и Hires steps - количество шагов основной генерации и шагов при включенном hires. fix
CFG Scale - обычный CFG; насколько картинка должна соответствовать промпту
Negative Guidance minimum sigma, Sigma Churn, Sigma min, Sigma max, Sigma noise, Eta, UniPC Order - это все для тонкой настройки работы разных семплеров
Clip skip - стандартный клип скип; то на сколько слоев раньше закончится обработка текстовой моделью. Любопытные могут посмотреть неплохой видос у koiboi и прочитать небольшую заметку в вики автоматика
Denoising - если в txt2img, то это денойз при hires fix, а если img2img, то обычный денойз для картинки
Face restore - использовать ли восстановление лиц, аналогично галочке restore faces (чтобы включить надо написать любое из true, yes, y, 1, например yes, no или 1, 0)

В img2img добавляются еще два:
Image CFG Scale и Cond. Image Mask Weight - первый тоже самое что и обычный cfg только относиться к картинке, которую обрабатываем. Он работает с моделями, которые поддерживают такую тему, например всякие pix2pix. Например перекрасим броню в белый (серебристый, металлик?). На маленьких значениях плохо учитывает изображение, на больших слишком сильно придерживается картинки.

Второй работает для инпеинт-моделей; это вес маски при инпеинте. Чем больше значение - тем больше изменений, но они могут не вписаться в картинку, чем меньше - тем меньше изменений, но они лучше впишутся. Хотя с моими примерами максимальное значение в обоих случаях получилось лучше всего

Синие (дополнительные фишки)

Две отдельные фичи этого скрипта для работы с промптами. Возьмем промпт, с которым были сделаны остальные примеры:
masterpiece, best quality, portrait, front shot, 1girl, green cyber suit, robotic parts, looking at viewer, smiling, futuristic city in the background, day time, extremely detailed, sfw, cinematic light

Prompt S/R - поиск и замена текста в промпте.
Например у нас написано day time с расчетом на то, чтобы было соответствующее освещение. А если мы хотим попробовать как оно будет выглядеть ночью/вечером? Выбираем Prompt S/R и в поле для значения пишем day time, night time, а скрипт сам при генерации найдет и поменяет одно на другое.

Важно! Первым должно идти то, что уже есть в промпте

Или например не green cyber suit (хотя он и так не зеленым его делает а каким-то бирюзовым), а синий?

Примеры примитивные, но надеюсь идея понятна. Чтобы не менять все ручками и каждый раз перезапускать, можно подготовить список нужных замен, запустить скрипт и сидеть курить бамбук

Prompt order
Чуть более бестолковая вещь, но может пригодиться для оттачивания стилей или других заготовок. Находит перечисленные слова и меняет их местами.

Изначально было так (наш исходный):
masterpiece, best quality, portrait, front shot, 1girl, green cyber suit, robotic parts, looking at viewer, smiling, futuristic city in the background, day time, extremely detailed, sfw, cinematic light

Потом
masterpiece, best quality, portrait, front shot, futuristic city in the background, green cyber suit, robotic parts, looking at viewer, smiling, 1girl, day time, extremely detailed, sfw, cinematic light

Затем
1girl, best quality, portrait, front shot, masterpiece, green cyber suit, robotic parts, looking at viewer, smiling, futuristic city in the background, day time, extremely detailed, sfw, cinematic light

и так далее, пока не сделает все перестановки

Последнее

Мы хотим пройтись по cfg от 3 до 9.

Вместо того чтобы писать 3, 4, 5, 6, 7, 8, 9, можно указать диапазон 3-9.

Если хочется шаг поменьше сделать, то пишем 3-9 (+0.5) - то что в скобках, это изменение при каждой генерации, то есть он сгенерирует все что нужно с cfg равным 3, потом сделает 3 + 0.5 = 3.5 и сгенерирует с ним и так далее. Можно делать и наоборот если очень хочется, например, 9-3 (-0.5) - сгенерирует тоже самое, только в обратном порядке.

И еще вариант: 3-9 [3]. Мы считать не хотим, а хотим чтобы он сам подобрал три равных промежутка (будет 3, 6, 9, а для 3-9 [5] будет 3, 4.5, 6, 7.5, 9)

А на этом все. В общем этого должно быть достаточно, чтобы дальше вы сами поигрались со скриптом и использовали его в своей работе.

Всем кискам пис, всем пискам кис.
Телеграм: https://t.me/mrreplicart
Ютуб: https://www.youtube.com/@mrreplicart

Что за ControlNet такой я писал в одной из своих статей. А как приобщиться к генерациям вообще рассказываю в самом конце статьи.

Для того чтобы воспользоваться новым препроцессором, вам нужен ControlNet версии не ниже чем 1.1.153. Если это не так, обновите его во вкладке Extensions. После чего, как обычно, выбрать препроцессор в выпадающем списке. Модель для его работы не требуется. Выбрать референс, генерировать.

Лучшие результаты будут достигнуты если картинка была сгенерирована, вы используете промпт от нее и у вас зафиксирован сид. А так же чем сложнее промпт тем лучше следование референсу. Не забывайте про ползунок weight. Он так же может улучшить результат.

Ниже наглядные примеры от Реддитора.

Слева без использования контролнета. Справа с ним. Сид фиксирован, промпт детальный:

Слева без использования контролнета. Справа с ним.Случайный сид, промпт детальный:

Слева без использования контролнета. Справа с ним. Случайный сид, промпт простой:

Видно, что наибольшее следование референсу получаем в первом варианте, на всех четырех изображениях хорошо сохранилось лицо и одежда, в отличие от генераций без использования ContrloNet.

Использование не сгенерированных изображений или изображений к которым у вас нет промпта в качестве референса так же работает, но местами хуже.

Пример одного из пользователей. Взяв изображение в Midjourney, он создал варианты этого изображения в SD

MJ:

SD:

А на этом всё. До скорого.

__

Поделиться результатом или задать вопрос, а так же пообщаться с единомышленниками вы можете в нашем нейробратском комьюнити.

Больше гайдов на моем канале, где бесплатно обучаю с нуля и до тренировки собственных моделей. Подписывайтесь чтобы не пропустить.