Обучение генеративной нейросети

Данный проект посвящен процессу обучения генеративной нейросети. Основной задачей является генерация изображений в соответствии со стилем собственного датасета с целью внесения разнообразия в кадры, а также качественная оценка того, насколько нейросети удалось «понять» стиль пользователя.

В качестве датасета принято решение взять кадры анимационного проекта «Sweet Thorns» , выполненного во втором модуле первого курса.

Анимация представляет собой авторскую интерпретацию истории любви Маленького Принца и Розы из произведения Антуана де Сент-Экзюпери.

Особенности визуального стиля исходного датасета: простая графика, черный однородный контур, плоская заливка без обозначения объемов; анатомия персонажей очень условна, а общая цветовая палитра характеризуется ограниченным сочетанием цветов.

Серия полученных изображений направлена на то, чтобы расширить мир, уже сложившийся в анимационном проекте: добавить в него новых объектов, персонажей, а также сделать ландшафт более разнообразным.

Если не указывать цвет неба голубым (как в датасете), то нейросеть генерирует его фиолетовым, что скорее соответствует цвету планеты.

Вместо зеленых деревьев нейросеть подрисовывает зеленых персонажей, тогда как вулканы, которые нейросеть распознает как горы, выходят гораздо более похожими на стиль кадров датасета, — с этой точки зрения мне очень понравилось, как нейросеть генерирует природу из анимации.

Общая проблема нейросетей — частичное или полное непонимание абстрактных обозначений, например, конечностей персонажей. Все сливается в неоформленные силуэты, в отличие от датасета, где позы персонажей более понятны, как и их условная анатомия.

Несмотря на эксперименты с промптом, персонажи получаются похожими друг на друга, лишь периодически меняя цвета или размеры тела.

Из-за ограниченного числа объектов на изображениях датасета, нейросеть не способна генерировать то, чего она «не видела» во время обучения. Это решается понижением веса использованного стиля: общая концепция форм сохраняется, но объекты и цвета становятся разнообразнее.

Таким образом, нейросети удалось повторить сам характер рисунка, который напоминает детские каракули, правда добиться более четких поз и силуэтов не выходит, так как сам датасет в этом смысле оказался не совсем содержательным для обучения.

Экспериментируя с весами, можно добиться более интересного результата, и в целом изображения получатся более понятными, подробными и разнообразными. Хотя сгенерированные ландшафты с зелеными вулканами получились интересными и приятными, отсутствие достаточного количества деталей в датасете, к сожалению, не позволяет использовать заданный стиль самостоятельно: необходимо сочетание с более подробными стилями.

Загрузка датасета из файлов ПК.

Вывод того, что загрузили в новую папку Google Colab. Изображения выбирались по принципу разнообразия объектов, цветов и форм.

Добавляем префикс, с помощью которого будем в финале генерировать изображения обученной нейросетью.

Выставили настройки для обучения нейросети на указанном датасете.

Сохраняем стиль с заданным префиксом.

Приступаем к генерации изображений.

При желании выставляем «вес стиля», чтобы генерация была более разнообразной.

Модель нейросети для обучения: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0

Encoder: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

Блокнот Google Colab: https://colab.research.google.com/drive/1eWe3fdnXp49FOmeTOb8HMcILsDnSb9-B?usp=sharing

Датасет: https://drive.google.com/drive/folders/18587GM1Zni2CGHglR9EvjPb0kQRM5pBz?usp=sharing