Создание собственной LoRA-модели для генерации в стиле импрессионизма
Введение: идея проекта
Клод Моне — один из величайших художников-импрессионистов, чьи работы отличаются уникальной манерой: мягкие мазки, игра света и цвета, воздушная атмосфера, особое внимание к изменчивым состояниям природы. Его картины — это не просто изображения, это впечатления, эмоции, застывшие мгновения.
Цель проекта — создать собственную генеративную модель на основе Stable Diffusion XL, способную воспроизводить уникальный стиль Клода Моне, и сгенерировать серию оригинальных изображений в его манере.
Почему это интересно:
-Возможность «дорисовать» несуществующие картины в стиле великого художника
-Эксперимент с передачей сложного художественного стиля через ИИ
-Создание новой серии работ, объединённых эстетикой импрессионизма
Подготовка датасета: исходные изображения для обучения
Для обучения модели в стиле Моне был собран датасет из 20 изображений оригинальных работ художника. Изображения были отобраны с соблюдением следующих критериев:
Качество: только изображения высокого разрешения с хорошей цветопередачей
Формат: квадратные (1:1) для оптимального обучения
Разнообразие: работы, охватывающие разные периоды творчества Моне
Технический процесс обучения
1 Выбор базовой модели Для обучения была выбрана модель Stable Diffusion XL (SDXL) — одна из самых мощных открытых моделей для генерации изображений. SDXL отлично справляется с передачей сложных художественных стилей и даёт высокое качество на выходе
2 Технология LoRA (Low-Rank Adaptation) Вместо полного переобучения всей модели (что требует огромных вычислительных ресурсов) был использован метод LoRA — обучение небольшой адаптивной надстройки, которая «настраивает» уже обученную модель на новый стиль.
Преимущества LoRA:
-Компактный размер модели (всего 22 МБ вместо 7 ГБ)
-Быстрое обучение (около 45 минут на GPU Tesla T4)
-Возможность комбинировать несколько LoRA-моделей
3 Подготовка данных Для каждого изображения с помощью модели BLIP (Bootstrapping Language-Image Pre-training) были автоматически сгенерированы текстовые описания с добавлением префикса «painting in Monet style, „.
Пример сгенерированной подписи: „painting in Monet style, water lilies pond with Japanese bridge, impressionist style“
Ноутбук с кодом для обучения
Результаты: серия изображений в стиле Моне
Визуальный анализ и разбор характеристик
Удалось ли передать стиль Моне? Цветовая гамма:
Модель успешно усвоила характерную для Моне палитру: чистые, насыщенные цвета, отказ от чёрного (тени передаются синими и фиолетовыми оттенками) В морских пейзажах — перламутровые оттенки воды и неба В пейзажах с зеленью — богатая градация от жёлто-зелёного до тёмно-изумрудного
Фактура и мазок:
Текстура изображений имитирует характерные для импрессионизма короткие, раздельные мазки Свет передаётся пятнами, создавая эффект вибрации и воздушной среды Контуры предметов размыты, что соответствует импрессионистическому принципу «писать не предмет, а впечатление от него»
Композиция:
Сохранены характерные для Моне композиционные приёмы: высокий горизонт, фокус на игре света, включение архитектурных элементов (мосты, дома) в природный ландшафт
