Пауль Клее — художник начала XX века, работавший с абстрактной живописью. Его работы строятся на простых формах, линиях и цвете, которые складываются в сложные и продуманные композиции.
Идея проекта
Я решил обучить нейросеть на работах Пауля Клее, чтобы посмотреть, как она считывает и пересобирает его визуальный язык. Мне было важно не просто получить похожие картинки, а понять, какие именно принципы модель запоминает: цвет, композицию, ритм или отдельные формы.
Датасет
Изображения для обучения были взяты с некоммерческого ресурса WikiArt. Использованные материалы находятся в общественном достоянии (CC0 Public Domain) и допускаются к свободному использованию.
Метод обучения
В проекте я использовал модель Stable Diffusion XL и дообучил её с помощью метода LoRA на собранном датасете изображений работ Пауля Клее. В процессе я запускал обучение через Google Colab на GPU T4, используя стандартный пайплайн. После обучения получил LoRA-модель, которую затем использовал для генерации серии изображений.
Результат
В итоговой серии видно, что модель достаточно точно переняла ключевые элементы визуального языка: плоскостную композицию, работу с цветом и сочетание геометрических и более свободных форм. Во многих изображениях сохраняется баланс между структурой и случайностью, что было одной из задач проекта.
При этом модель не воспроизводит конкретные работы, а пересобирает их принципы. Это заметно в вариативности изображений: часть из них выглядит более структурированной и «архитектурной», а часть более свободной и абстрактной.
Результат в целом соответствует исходной идее: модель удерживает общий визуальный язык и способна генерировать новые изображения внутри него. При этом встречаются искажения, например, перегруженность деталей или потеря композиционного баланса, что связано с особенностями датасета и ограничениями модели.
В проекте использовалась генеративная модель Stable Diffusion XL, дообученная с помощью метода LoRA на датасете изображений работ Пауля Клее. Модель применялась для генерации новой серии изображений на основе изученного визуального языка. Также, дополнительно применялись апскейл и базовая цветокоррекция для улучшения качества картинок.
Вывод
В результате проекта удалось показать, что генеративная модель может работать не только с конкретными объектами, но и с более сложными вещами, такими как художественный стиль и визуальный язык. Она успешно переняла основные принципы работ Пауля Клее и смогла генерировать изображения, которые сохраняют характерные особенности, но при этом не повторяют оригиналы напрямую.
