Обучение Stable Diffusion под стиль Эль Лисицкого

Я восхищаюсь творчеством и идеями художника-авангардиста Эля Лисицкого. С его работами я работала на протяжении всего первого курса в рамках одной из дисциплин. Особенно подробно я изучала одно из самых известных изобретений художника — проуны.

Проуны — это художественная система, созданная советским авангардистом Элем Лисицким. Термин «проун» расшифровывается как «проект утверждения нового». Он был придуман осенью 1920 года и созвучен с названием группы УНОВИС («Утвердители нового искусства»). Проуны представляют собой визуальные манифесты нового пространственного мышления, находящиеся на стыке живописи, графики и архитектурной концепции.

Лисицкий стремился объединить живопись и архитектуру, экспериментируя с плоскими супрематическими элементами, объёмом и пространством. По его замыслу, проуны должны были стать «прообразом архитектуры мира» и своего рода чертежами будущих архитектурных сооружений. Художник комбинировал геометрические плоскости с трёхмерными объектами, создавая конструкции, которые словно парят в пространстве. Цвет в его работах также играл важную роль: с его помощью обозначались плотность, масса и фактура различных материалов.

Поскольку художник постоянно экспериментировал и искал новые способы визуализации своих идей, в рамках данного проекта я решила создать собственную серию проунов с помощью обучения модели Stable Diffusion. Моей задачей было сохранить ключевые визуальные особенности оригинальных работ и одновременно исследовать, как нейросеть может переосмыслить этот художественный язык.

Для обучения был использован датасет из 20  квадратных изображений проунов разных периодов творчества художника. Несмотря на отсутствие высокой детализации, в этих изображениях прослеживается цельность визуального языка, простота геометрических форм и чёткое цветовое деление. Именно эти характеристики стали основой для обучения модели и последующей генерации новой серии изображений.

Обучение модели проводилось в среде Google Colab с использованием библиотеки diffusers. В качестве базовой модели была выбрана Stable Diffusion  XL, так как она даёт более качественные и стабильные результаты при генерации изображений.

Сначала был подготовлен датасет: изображения проунов были собраны, приведены к квадратному формату и загружены в рабочую среду. Затем для каждого изображения автоматически были созданы текстовые описания с помощью модели BLIP. К этим описаниям добавлялась фраза «in  the style of  El  Lissitzky» , чтобы задать нужный стиль для обучения.

Далее модель дообучалась с помощью метода DreamBooth LoRA. Этот метод позволяет обучить нейросеть на небольшом количестве изображений и сохранить её основные возможности. В процессе обучения использовались изображения размером 1024× 1024.

После завершения обучения полученные веса LoRA были подключены к исходной модели, и на их основе была сгенерирована итоговая серия изображений. Для генерации использовались разные текстовые запросы, чтобы проверить, насколько хорошо модель передаёт стиль и создаёт разнообразные композиции.

Итоговая серия состоит из изображений, которые продолжают визуальный стиль работ художника, но не повторяют их напрямую. В сгенерированных изображениях сохраняются ключевые особенности проунов: минимализм, геометричность, ограниченная цветовая палитра и ощущение пространственной композиции.

Модель переняла принципы построения формы: сочетание плоскостей и объёмов, динамическое расположение элементов и ощущение «парящих» конструкций. При этом каждая генерация отличается вариативностью — изменяется композиция, соотношение форм, ритм и баланс элементов.

Нейросеть не копирует конкретные работы, а скорее воспроизводит общий визуальный язык. В некоторых изображениях можно заметить более сложные пространственные решения, чем в исходных данных, что свидетельствует о генеративной интерпретации стиля.

В рамках проекта использовались две генеративные модели. Основной моделью стала Stable Diffusion XL  с дообучением через DreamBooth LoRA: она применялась для обучения на датасете проунов Эля Лисицкого и последующей генерации итоговой серии изображений.