Идея
Проект посвящён дообучению генеративной модели Stable Diffusion с использованием техники DreamBooth и LoRA на датасете из 12 картин Клода Моне. Цель — научить модель создавать новые изображения в характерном стиле художника.
Исходные изображения
В датасете были пейзажи написанные Клодом Моне. Модель была обучена на 12 картин художника. Некоторые картины из датасета представлены ниже.
Серия изображений
Концепцией серии было выбрана тема путешествия по миру, так как интересно посмотреть как пейзажи из разных стран могут выглядеть в стиле Моне.
Композиция полученных изображений типична для картин Моне: асимметричное расположение объектов, водная гладь, занимающая нижнюю часть кадра, диагональные линии берегов или дорог.
В цветовой палитре преобладают пастельные тона. В зависимости от сюжета картины это могут быть нежные розовые и золотистые оттенки рассвета в японском саду, а также глубокие синие и бирюзовые в венецианском канале.
Мазки видны как отдельные цветовые пятна, которые при взгляде издалека сливаются в единую картину. Текстура моделью передана убедительно, особенно это видно в изображении воды и листвы.
Модель, обученная на картинах Моне, удалось передать в генерациях характерные признаки стиля:
- Контуры предметов не имеют жёстких границ
- Цветовые отношения строят объём и пространство
- Поверхность водоёмов покрыта мерцающими мазками, отражающими небо и прибрежные объекты
- Туман, дымка, мягкий солнечный свет — всё это характерно для картин Моне.
Концепция реализована удачно каждое изображение представляет собой узнаваемый пейзаж конкретной страны (Япония, Венеция, Норвегия, Марокко, Голландия, Прованс, Шотландия, Нью-Йорк), но при этом все они выполнены в едином стиле. Модели удалось создать композиции, где архитектура, растительность и фигуры расположены таким образом, как располагал их на картинах художник.
Детали генерации
Базовая модель: stabilityai/stable-diffusion-xl-base-1.0 с VAE madebyollin/sdxl-vae-fp16-fix.
LoRA веса: загружены из чекпоинта checkpoint-250. Сила влияния LoRA задана через fuse_lora (lora_scale=0.5).
Параметры генерации: num_inference_steps = 25 guidance_scale = 7.5
Промты составлены по следующему принципу: «painting in style of Claude Monet, локация + характерный элемент».
В проекте были использованы нейросети:
- Stable Diffusion (для обучения модели и генерации изображений)
2.Deepseek (для помощи написания кода)
