Идея проекта
Проект посвящён дообучению генеративной нейросети Stable Diffusion на картинах Поля Гогена с целью создания новых изображений в его художественном стиле. Гоген — один из ключевых представителей постимпрессионизма. Его живопись легко узнаваема: плоские формы без объёма, насыщенные контрастные цвета, тёмные контуры, экзотические тропические сюжеты. Эти визуальные характеристики делают его стиль хорошим объектом для обучения нейросети — у него есть чёткие повторяющиеся признаки, которые модель может уловить. Все картины из датасета находятся в открытом доступе (public domain).
Исходный материал
Датасет состоит из 50 репродукций картин Поля Гогена в высоком разрешении. Изображения были подготовлены к обучению: приведены к квадратному формату 1:1 с сохранением пропорций (letterbox), разрешение — 300×300 пикселей. В датасет вошли работы разных периодов творчества художника: бретонский период (1888–1891), таитянский период (1891–1903), а также поздние работы с Маркизских островов. Это позволило охватить весь спектр стилевых особенностей Гогена.
Поль Гоген: 1. «Танец четырех бретонок», 1886, 2. «Композиция с фигурами и лошадью», 1902, 3. «Видение после проповеди», 1888
Поль Гоген: 1. «„Забава злого духа“», 1894, 2."Пейзаж в Ле Пульдю», 1890, 3. «Автопортрет в шляпе», 1893
Поль Гоген: 1. «В больничном саду в Арле», 1888, 2. «Сладкие грезы», 1894, 3. «Сбор лимонов», 1892
Процесс обучения
Для проекта использовалась модель Stable Diffusion v1.5 и метод дообучения DreamBooth LoRA. Такой формат позволяет адаптировать большую генеративную модель под небольшой, но стилистически цельный датасет без полного переобучения. Изображения были автоматически обработаны Python-скриптом: приведены к квадратному формату с чёрными полосами (letterbox), улучшены контраст и резкость. В качестве базового стилевого маркера использовался промпт: gauguin_style painting, post-impressionist, flat forms, bold colors, tropical Обучение проводилось в Google Colab на GPU Tesla T4. В процессе были заданы параметры, позволяющие работать в ограниченной среде: 1500 шагов, learning rate 1e-4, mixed precision fp16, градиентное накопление, 8-bit Adam. После завершения LoRA подключалась обратно к базовой модели, и уже на этом этапе генерировалась итоговая серия. Ключевой задачей было не фотореалистичное воспроизведение стиля, а передача характерных визуальных черт Гогена: плоскостности, цветовых сочетаний, специфической трактовки фигур и природы.
Итоговая серия
prompts = [ «gauguin_style painting, two women on a beach, tropical island, bold colors», «gauguin_style painting, portrait of a woman, flowers, yellow background», «gauguin_style painting, landscape with trees, red and orange colors», «gauguin_style painting, figures in a village, flat forms, tahiti», «gauguin_style painting, still life with fruits, tropical colors», «gauguin_style painting, woman sitting, ocean in background, post-impressionist», ]
Комментарий к результатам
Модель уверенно воспроизводит фирменную цветовую палитру Гогена — тёплые охристые тона кожи, насыщенные оранжево-красные земли, глубокие синие горы и воду. Особенно хорошо передана плоскостность фигур: лица трактуются обобщённо, без академической светотени. Пейзажные фоны с горами и тропической растительностью выглядят стилистически цельно. Лучше всего получился портрет женщины на жёлто-зелёном фоне и сцена с двумя женщинами на берегу. В них точно считывается таитянский период художника: характерные позы, этнический тип лиц, насыщенный цвет фона. Портретные и пейзажные сюжеты вышли ближе к оригинальному Гогену, чем натюрморт — базовая модель сильнее тянет предметную живопись к реализму. Пейзаж с деревьями отличается от остальных более «живописной» фактурой мазка.
Описание применения генеративной модели
В проекте использовалась генеративная модель Stable Diffusion v1.5, дообученная в формате DreamBooth LoRA на специально подготовленном датасете картин Поля Гогена. Модель применялась для генерации серии изображений в постимпрессионистском стиле. Техническая справка: Базовая модель: Stable Diffusion v1.5 (runwayml/stable-diffusion-v1-5) Формат дообучения: DreamBooth LoRA Среда обучения: Google Colab (GPU Tesla T4) Объём датасета: 50 изображений Тип датасета: картины публичного домена (Поль Гоген) Формат подготовки: квадрат 1:1, letterbox, 300×300 px
Дополнительно в работе над проектом использовался Claude (Anthropic) — для помощи с написанием и отладкой кода обучения и обработки датасета.
