Концепция
Для своего проекта я решил обучить генеративную нейросеть Stable Diffusion рисовать изображения в стиле художника Архипа Куинджи. Меня привлекли его работы из-за особенностей изображения пространства в пейзаже, использования света, цвета и атмосферы. В картинах Куинджи часто присутствуют туманы, мягкие переходы света, яркие контрасты неба и земли, а также ощущение большого пространства и глубины.
При анализе работ художника мне показалось, что его пейзажи выглядят как пейзажи других планет — с необычным освещением, атмосферой и природой. Поэтому в своём проекте я решил объединить стиль Архипа Куинджи с космическими пейзажами и атмосферой известной медиафраншизы Star Wars.
Идея проекта — создать серию изображений, которые выглядят как пейзажи других планет из вселенной Star Wars, но нарисованные в художественном стиле Архипа Куинджи.
Изображения для обучения
Все изображения были кадрированы под квадратный формат 768×768. Итоговый датасет содержит 30 изображения.
Для обучения использовалась модель Stable Diffusion XL и метод DreamBooth LoRA. LoRA (Low-Rank Adaptation) позволяет дообучить модель под конкретный стиль на небольшом количестве изображений.
Процесс обучения
Перед началом работы нужно было убедиться, что всё работает. Я выгрузил необходимое количество изображений для обучения модели — 30 шт. После кадрировал их под квадратный формат.
Проверяем GPU и подгружаю необходимые библиотеки: bitsandbytes, transformers, accelerate, peft и diffusers, а также готовый скрипт обучения DreamBooth.
В Google Colab создаю папку для сохранения исходных файлов и загружаю в неё ранее собранные изображения с помощью кода. Затем открываю их для предпросмотра, чтобы убедиться в корректности загрузки и показать материалы для дальнейшей работы.
Создаем подписи
Запускаю модель BLIP для генерации текстовых описаний изображений. Каждое описание дополняется общим стилем «oil painting in KUINDZHI style,» а результаты сохраняются в файле metadata.jsonl.
Создаем аккаунт Hugging Face и выгружаем получившуюся модель.
Обучение модели
Запустил процесс обучения модели. Выбрал разрешение 512×512. Ограничил количество шагов до 1000, чтобы модель могла лучше адаптироваться и стать более точной. Настроил чекпоинты с интервалом в 250 шагов для сохранения прогресса в случае сбоев. Весь процесс занял чуть больше полутора часов.
Итоговая серия
Промпт: oil painting in KUINDZHI style, a colossal Star Wars cruiser landed on a misty alien valley with mountains in the distance
Описание результата: На изображении представлен пейзаж другой планеты с туманной долиной и горами на заднем плане. На переднем плане расположен большой космический корабль, который стоит на поверхности планеты. Изображение выполнено в живописной манере, с мягкими переходами света и тумана.
В результате генерации удалось передать многие особенности стиля Архипа Куинджи. Нейросеть хорошо перенесла стиль художника на новые сцены, которых не было в обучающем датасете — например, космические корабли, другие планеты и фантастические пейзажи. Это означает, что модель выучила именно стиль, а не просто скопировала изображения.
Промпт: oil painting in KUINDZHI style, a mysterious forest planet with glowing alien plants and a Star Wars cruiser hovering above
Описание результата: На изображении показан лесной пейзаж другой планеты с необычными растениями. В небе над лесом находится космический корабль. Основное внимание уделено освещению и атмосфере леса.
Промпт: oil painting in KUINDZHI style, a luminous alien planet landscape with twin suns and misty mountains, Star Wars universe
Описание результата: Изображён пейзаж планеты с двумя солнцами, горами и туманом. Основной акцент сделан на небе и освещении от двух источников света.
Промпт: oil painting in KUINDZHI style, an icy planet with frozen lakes and distant Star Wars spacecraft flying under aurora-lit skies
Описание результата: На изображении показана ледяная планета с замёрзшими озёрами и холодным освещением. В небе видны космические корабли и эффект северного сияния.
Промпт: oil painting in KUINDZHI style, floating rocky islands over a stormy ocean with Star Wars TIE fighters skimming the waves
Описание результата: Изображён океан с волнами, над которым находятся скалистые острова. Над водой летают космические корабли.
Промпт: oil painting in KUINDZHI style, a dense alien forest with misty hills, Star Wars scout ships flying above
Описание результата: На изображении показан густой лес с холмами и туманом. В небе над лесом летят космические корабли.
Промпт: oil painting in KUINDZHI style, a calm river valley on an alien planet, misty hills in the distance, Star Wars ships soaring through the sky above
Описание результата: Изображена долина с рекой, уходящей вдаль, и холмами на горизонте. В небе находятся космические корабли. Композиция построена так, что река создаёт глубину пространства.
Промпт: oil painting in KUINDZHI style, a vast alien desert illuminated by two suns, Star Wars X-wing fighters soaring in the sky
Описание результата: Пустынный пейзаж с двумя солнцами и длинными тенями. В небе летят космические корабли.
Промпт: oil painting in KUINDZHI style, a colorful alien canyon with rivers of glowing lava, Star Wars universe
Описание результата: Изображён каньон с потоками светящейся лавы. Основной акцент сделан на цвете и освещении.
Промпт: oil painting in KUINDZHI style, surreal floating mountains with swirling clouds, Star Wars battle cruisers flying through the sky
Описание результата: Изображены летающие горы и облака, в небе находятся космические корабли.
В ходе проекта я обучил генеративную нейросеть Stable Diffusion генерировать изображения в стиле Архипа Куинджи. В результате была создана серия изображений, объединяющая художественный стиль классической живописи и научно-фантастические пейзажи во вселенной Star Wars.
Папка с итоговыми материалами
Блокнот
