Серия фотографий по обучению нейросети

В основе проекта — эксперимент с возможностью нейросети запомнить и воспроизвести внешность конкретного персонажа. В качестве такого персонажа я выбрала свою собаку Одри.Я обучила модель на небольшой подборке ее фотографий, чтобы затем перенести знакомый образ в совершенно новые ситуации, которых не существовало в реальности. В результате Одрич оказывается в необычных интерьерах и обстоятельствах, сохраняя при этом свои узнаваемые черты.Проект исследует границу между реальной фотографией и сгенерированным изображением: исходным материалом становится реальный персонаж, а нейросеть создаёт для него новую, вымышленную реальность. Итогом эксперимента стала серия фотографий из своеобразной альтернативной жизни Одрича.

Первым шагом была подготовка датасета из 22 фотографий. Я использовала как фотографии, сделанные мной на фотоаппарат, так и снимки на айфон.
При выборе фотографий я отдавала предпочтение кадрам, на которых собака находилась в разных позах. Так модель наиболее точно могла уловить особенности облика животного и в дальнейшем передать их на сгенерированных изображениях.

Перед загрузкой изображений в Google Colab я обработала их: все фотографии были приведены к квадратному формату. В дальнейшем для каждой фотографии было создано текстовое описание.

Для эксперимента я использовала Stable Diffusion XL — генеративную модель, способную создавать изображения по текстовому описанию. Целью работы было обучить модель воспроизводить внешность конкретного персонажа — моей собаки Одри. Для адаптации модели я использовала метод LoRA (Low-Rank Adaptation).LoRA позволяет дообучить небольшую часть параметров модели, не переобучая Stable Diffusion XL целиком. В результате был получен отдельный набор весов LoRA, который подключается к базовой модели и позволяет ей воспроизводить характерные черты внешности Одрича.Обучение проходило в Google Colab с использованием графического процессора NVIDIA Tesla T4. Было задано 500 шагов обучения, размер пакета 1, накопление градиента за 4 шага и скорость обучения 0,0001. Также использовалась смешанная точность FP16 для уменьшения расхода видеопамяти.После обучения LoRA была подключена к Stable Diffusion XL. С помощью ключевого слова odrichdog я генерировала новые изображения, помещая Одрича в ситуации и пространства, которых не было в исходном датасете. Таким образом, итоговая серия демонстрирует, насколько обученная модель способна сохранить узнаваемость конкретного персонажа при изменении окружения и сюжета.

Изначально планировалось обучить модель с целью коллаборации с петербургской кофейней LUCO, особенностью визуальной коммуникации которой является использование фотографий собачек посетителей. К сожалению, на этом этапе модель столкнулась со сложностями при генерации. Изменение сетапа не помогало улучшить генерируемые сюжеты, и от этой идеи я была вынуждена отказаться.

Также была предпринята попытка сделать мерч для кофейни, которая также не увенчалась успехом. Вектор дальнейшей работы было решено окончательно изменить.

После обучения я получала изображения, в которых модель использует особенности моей собаки для создания ее фотографий в новых обстоятельствах.

Некоторые изображения получились «мыльными», однако это легко объяснимо: некоторые фотографии в датасете сделаны со смещенным фокусом, что является частью авторского стиля.

Итоговая серия представляет собой набор сгенерированных фотографий, в которых Одрич оказывается в пространствах и ситуациях, отсутствующих в исходном датасете. Основой серии стала идея «альтернативной жизни Одрича»: реальный и знакомый мне персонаж переносится нейросетью в вымышленную реальность. В одних изображениях она сидит в красном кресле, в других оказывается на большой кровати или среди интерьеров, которых никогда не было на исходных фотографиях.При создании серии было важно не просто получить изображения собаки, а проверить, сможет ли модель сохранить индивидуальные особенности конкретного персонажа при полной смене окружения. Для этого в промптах использовалось специальное ключевое слово odrichdog, на котором модель была обучена. При этом описание внешности намеренно не делалось слишком подробным: основной задачей было проверить, какие черты Одрича модель усвоила непосредственно из обучающего датасета.Лучше всего модели удалось передать общее сочетание характерных черт: окрас, пропорции тела, форму головы и общее впечатление от внешности Одрича. Благодаря этому персонаж остаётся узнаваемым, несмотря на то что его поза, освещение и пространство вокруг каждый раз меняются. Одновременно с этим сходство не является абсолютно точным. В отдельных генерациях меняются детали морды, структура шерсти или пропорции тела. Это становится заметной особенностью серии: нейросеть не копирует одну из исходных фотографий, а каждый раз заново интерпретирует полученную во время обучения информацию о персонаже.

В проекте я использовала Stable Diffusion XL Base 1.0 с дополнительными весами LoRA, обученными на моих фотографиях. Базовая модель отвечала за генерацию изображений по текстовым запросам, а LoRA адаптировала её к особенностям фотографий.
Обучение и генерация выполнялись в Google Colab с использованием GPU NVIDIA Tesla T4. Для создания итоговой серии я составляла текстовые запросы, меняя сюжеты и сохраняя основные стилистические характеристики.
Помимо обученной модели, я использовала ChatGPT как вспомогательный инструмент для разработки и уточнения промптов. Идея проекта, исходные фотографии, отбор обучающих материалов, окончательный выбор изображений относятся к моей авторской работе.
Дополнительные методы улучшения изображений, такие как апскейлинг, ручная дорисовка или отдельная постобработка, в описанном эксперименте не применялись.
Основной акцент был сделан на обучении LoRA и исследовании того, как меняется результат при изменении текстовых запросов.