Идея проекта
В рамках проекта я исследую возможность обучения генеративной модели стилю Хильмы аф Клинт и проверяю, как нейросеть интерпретирует абстрактные эмоции через этот стиль.
Хильма аф Клинт — шведская художница, одна из первых представителей абстрактной живописи. Известна своими масштабными мистическими полотнами, созданными под влиянием спиритизма и теософии, которые были скрыты от публики до 1980-х годов. Её работы часто интерпретируются как визуализация невидимых процессов — эмоций, энергий и состояний.
Хильма аф Клинт, Group IX/UW, No. 25, The Dove, No. 1, 1915. Хильма аф Клинт, The Ten Largest No. 9, 1907
Основная идея проекта — проверить, может ли нейросеть воспроизвести характерные признаки художественного стиля и использовать этот стиль для генерации образов, связанных с эмоциями (радость, тревога, одиночество).
Таким образом, проект сочетает две задачи:
- Обучение модели художественному стилю
- Эксперимент по визуализации эмоций средствами генеративной графики
Датасет
Хильма аф Клинт, The Ten Largest No. 1, Childhood, 1907. Хильма аф Клинт, The Ten Largest No. 4, Youth, 1907
Для обучения модели был собран датасет из 25 изображений работ Хильмы аф Клинт. Источник изображений Wikimedia Commons (изображения в общественном достоянии). Подготовка датасета включала приведение изображений к квадратному формату (1:1).
Процесс обучения модели
Для обучения использовалась модель Stable Diffusion (версия SDXL). Обучение проводилось с использованием метода LoRA (Low-Rank Adaptation), который позволяет дообучать модель на небольшом датасете без изменения всех весов.
Основные этапы:
- Подготовка окружения: установка библиотек diffusers, transformers, accelerate, peft и настройка GPU в Google Colab
- Загрузка изображений: изображения были загружены в локальную директорию
- Автоматическая генерация подписей: использована модель BLIP для создания caption’ов
- Обучение модели — базовая модель: stabilityai/stable-diffusion-xl-base-1.0 — разрешение изображений: 512×512 — обучение с использованием LoRA — captions использовались как текстовые условия
- Сохранение и загрузка модели: веса модели сохранены в формате LoRA, подключение к пайплайну генерации через DiffusionPipeline
Генерация изображений
После обучения модели была создана серия генераций. Исследовалось отображение генерации эмоций, а также дополнительные темы в стиле художницы.
prompt // painting in HILMAAFKLINT style, restless spirals of fear. prompt // painting in HILMAAFKLINT style, golden abstract happiness
В рамках эксперимента были выбраны три эмоции: радость, тревога и одиночество. Задача заключалась в том, чтобы проверить, как нейросеть интерпретирует эти состояния через обученный стиль.
Несмотря на заданные категории, нейросеть не формирует жёстко различимые визуальные паттерны для каждой эмоции. Тем не менее изображения отличаются по настроению, варьируются цветовые сочетания и композиции, сохраняется абстрактная выразительность.
Это показывает, что модель хорошо усвоила стиль, но интерпретация эмоций остаётся более свободной и неоднозначной.
prompt // painting in HILMAAFKLINT style, сosmic spiritual flow. prompt // painting in HILMAAFKLINT style, spirals of radiant joy
prompt // painting in HILMAAFKLINT style, mystical black triangles, floating in pastel spirals, subtle gold accents, abstract spiritual geometry
prompt // twisted geometric vortex, muted purples and dark gray, sharp angular lines, sense of tension and unease. prompt // stormy abstract waves, black and cold blue, fragmented concentric patterns
prompt // painting in HILMAAFKLINT style, abstract
prompt // floating abstract sunbursts, warm oranges and soft lilacs, playful geometric fragments, joyful vibration. prompt // abstract altar with floating circles and triangles, gentle pastel glow
Помимо эмоций, были созданы изображения по свободным промптам. Цель: проверить универсальность обученного стиля.
prompt // painting in HILMAAFKLINT style, composition with tulip. prompt // painting in HILMAAFKLINT style, composition with flower
prompt 1 // painting in HILMAAFKLINT style, golden spiral radiating outward, pastel pink and yellow, layered concentric circles, uplifting energy. prompt 2 // painting in HILMAAFKLINT style, universe
В результате стиль стабильно сохраняется. Изображения выглядят как вариации внутри одной художественной системы и некоторые работы визуально сопоставимы с оригинальными произведениями по уровню выразительности.
prompt // painting in HILMAAFKLINT style, jagged fragmented spirals, deep crimson and midnightblue, chaotic overlapping forms, restless energy. prompt // painting in HILMAAFKLINT style, abstract woman
Анализ результатов
Передача стиля. Модель успешно воспроизводит ключевые характеристики: — абстрактные формы; — геометрические структуры; — мягкие цветовые переходы; — символический характер композиций.
Вариативность. Даже при одинаковом стиле: — композиции различаются; — возникают новые визуальные решения; — модель не копирует изображения, а генерирует новые.
Работа с эмоциями: — чёткой дифференциации эмоций не наблюдается; — однако изображения создают разные эмоциональные ощущения; — интерпретация остаётся субъективной.
Вывод
В результате проекта было показано, что генеративная модель может быть успешно обучена художественному стилю на небольшом датасете. LoRA позволяет эффективно адаптировать модель и стиль Хильмы аф Клинт хорошо переносится в генеративную среду.
Проект демонстрирует потенциал генеративных моделей как инструмента для художественных экспериментов и исследования визуального языка.
Использование генеративных моделей
В проекте использовались следующие инструменты:
- Stable Diffusion — для обучения и генерации изображений;
- ChatGPT — для структурирования и оформления текстового описания проекта.
Приложение
