Нейросетевой импрессионизм

Константин Горбатов — российский художник-импрессионист, известный своими пейзажами европейских стран. Его картины отличаются насыщенными контрастными цветами, морскими сюжетами и уверенной работой с направлением мазка кисти.

Для того, чтобы отличить картину его авторства, зачастую достаточно одного взгляда, ведь стиль Горбатова уникален и узнаваем.

Целью данного проекта было определить, сможет ли нейросеть обучиться воспроизводить ключевые элементы стилизации Горбатова и воссоздать его почерк.

Всего для обучения нейросети было использовано 60 картин, чтобы сохранить стиль и наполнение работ.

Все изображения были обрезаны под формат 512*512 таким образом, чтобы в кадре оставалось водное пространство, поскольку визитной карточкой художника является изображение этой стихии.

В ходе работы использовались следующие инструменты:

— Google Colab для запуска и выполнения кода; — Stable Diffusion для обучения генеративной модели; — Hugging Face для генерации токена и публикации модели;

Для сохранения стилевого единства в промптах содержится фраза «in Gorbatov style» — она помогает нейросети понять, что нужно скопировать конкретный стиль работ.

1. «А photo collage in Gorbatov style, cozy seaside cottage on a cliff, ocean view, golden sunset»;
2. «a photo collage in Gorbatov style, bright blue water, sunny day, vibrant colors»;
3. «a photo collage in Gorbatov style, wooden beach houses on stilts over turquoise water, tropical island»;
4. «a photo collage in Gorbatov style, white houses by the ocean, scandinavian style, foggy atmosphere»;
5. «a photo collage in Gorbatov style, oastal cottages near stormy sea, dramatic clouds, dark sky»;
6. «a photo collage in Gorbatov style, fantasy seaside village, glowing houses, night»;
7. «a photo collage in Gorbatov style, traditional architecture, ocean waves»;
8. «a photo collage in Gorbatov style, ocean waves, cherry blossoms, peaceful atmosphere»;
9. «a photo collage in Gorbatov style, soft clouds, ocean, little house»;
10. «a photo collage in Gorbatov style, glass walls, sunset reflection, palms».

Нейросеть сохраняет стиль и насыщенную цветовую гамму из контрастных оттенков произведений К. Горбатова, что визуально приближает генерации к стилю художника.

Однако на генерациях также присутствуют и несовершенства, вызванные особенностями работы с нейросетью: например, можно заметить, что многие детали плохо проработаны и сливаются в одну. Чаще всего это происходит в местах на заднем плане, где скапливаются небольшие домики.

В ходе работы был проверен GPU, после чего были установлены все необходимые библиотеки и загружен скрипт обучения DreamBooth LoRA. Создана папка «Gorbatov», в которой находятся цифровые картины художника.

Была выполнена генерация текстовых описаний изображений с помощью BLIP. К полученным описаниям был добавлен единый стилистический префикс: «in Gorbatov style».

Обученная модель была опубликована на Hugging Face, что обеспечило возможность использовать ее для генерации изображений.

После того как модель была успешно обучена и размещена на платформе, была выполнена её подготовка к генерации, после чего было проведено тестирование с различными текстовыми запросами, чтобы оценить качество создаваемых изображений.

Таким образом, нейросеть хорошо справилась с генерацией изображений в стиле Константина Горбатова. Используя его полотна как референсы, модель смогла передать основные оттенки, стиль и даже композиционные особенности работ художника.