Идея проекта
Ар-нуво (модерн) — стиль рубежа XIX–XX веков, узнаваемый по плавным «бичевидным» линиям, растительным и цветочным мотивам, декоративным рамкам и приглушённой пастельной палитре (работы Альфонса Мухи, Эмиля Галле, венской школы). Цель проекта — проверить, способна ли SDXL, дообученная методом DreamBooth + LoRA на небольшом наборе изображений в этом стиле, устойчиво воспроизводить его характерные признаки на новых сюжетах, которых не было в обучающей выборке: пейзаж, натюрморт, портрет, плакат.
Исходные изображения для обучения
Датасет: 38 изображений, формат 1:1, источник .
Критерии отбора: единый стиль, минимум посторонних артефактов (рамки, подписи, водяные знаки), разнообразие сюжетов внутри стиля (портреты, орнаменты, плакаты), чтобы модель выучила именно манеру, а не конкретную композицию.
Процесс обучения
Использован подход DreamBooth + LoRA поверх базовой модели stable-diffusion-xl-base-1.0 (библиотека diffusers, Hugging Face). Полный код обучения в приложенном ноутбуке ArtNouveau_SDXL_DreamBooth_LoRA.ipynb, выполнялся в Google Colab.
Ключевые параметры обучения:
уникальный токен-триггер: artnvstyle (встраивается в промпт как маркер стиля: an illustration in artnvstyle, art nouveau style);
ранг LoRA (rank): 12 — компромисс между гибкостью и риском переобучения на небольшом датасете;
разрешение: 768×768 (снижено с изначальных 1024×1024 для более быстрого и стабильного обучения на доступной GPU);
batch size: 1, без gradient accumulation;
learning rate: 1e-4, планировщик constant, без warmup;
оптимизатор: 8-bit Adam снижает нагрузку на видеопамять;
mixed precision: fp16, с gradient_checkpointing для экономии памяти;
число шагов: 900, с сохранением промежуточных чекпоинтов каждые 150 шагов;
обучение на GPU NVIDIA T4, полный прогон занял примерно 37 минут.
Инфраструктурные решения: датасет и все веса/чекпоинты обучения сохранялись напрямую на Google Diskе, а не в локальной файловой системе Colab, что позволило не терять прогресс при принудительном завершении сессии. Обучение запускалось с флагом --resume_from_checkpoint="latest» и при обрыве просто продолжалось с последнего сохранённого шага, а не с нуля.
Сложности, с которыми столкнулись при настройке окружения): конфликт версий между diffusers, transformers, accelerate, peft и torchao, из-за которого версии библиотек пришлось зафиксировать явно (diffusers==0.31.0, transformers==4.46.3, accelerate==1.1.1, peft==0.13.2, torchao≥0.16.0); несовместимость готового флага --cache_latents с используемой версией обучающего скрипта; однократный CUDA out of memory при разрешении 1024, решённый снижением разрешения и перезапуском среды. Само обучение после устранения этих конфликтов прошло стабильно, без расхождения loss (значения колебались в типичном для DreamBooth на маленьком датасете диапазоне от 0.006 до 0.33 между шагами, без признаков деградации).
Результирующая серия изображений
Разбор результатов
Что удалось передать из стиля:
на пяти из шести изображений (result_00, result_02, result_03, result_04, result_05) модель устойчиво воспроизводит ключевые приметы ар-нуво: плавную, непрерывную контурную линию в прорисовке волос, лепестков и стеблей; декоративные рамки-медальоны, в которые вписан женский портрет (result_00, result_03) — прямая цитата композиционного приёма Мухи; приглушённую, слегка выцветшую пастельную палитру (охра, пыльно-голубой, терракотовый); плотное заполнение фона растительным орнаментом, не оставляющее «пустот» (result_04, result_05); типично ар-нувошные женские фигуры в лёгких драпированных одеждах с характерным разворотом плеч (result_05 — основан на серии «Времена года» / «Искусства» Мухи).
Задачей было проверить перенос стиля на сюжеты, отсутствовавшие в обучающей выборке, и по большей части это удалось. Ни один из промптов не копирует конкретную композицию датасета, но результат уверенно считывается как «в духе Мухи» без указания имени художника в самом промпте (сам триггер artnvstyle нигде не ссылается на конкретного автора напрямую). Это подтверждает, что LoRA выучила именно обобщённую манеру живописи, то есть линию, палитру, тип орнамента и типаж фигур.
result_01 (плакат городской улицы ночью) — единственная неудача серии: изображение получилось в духе тёмной, атмосферной иллюстрации начала XX века, но без характерной плоской декоративности и орнаментальности ар-нуво. Линия здесь более живописная, импрессионистичная, присущая скорее книжной графике эдвардианской эпохи. Вероятная причина: в обучающем датасете не было ни одного архитектурного/уличного сюжета, только фигуративные композиции (портреты, аллегории, натюрморты), поэтому токену artnvstyle не хватило визуального материала, чтобы связать стиль именно с городской сценой, и генерация «откатилась» к ближайшему, что знает базовая SDXL по похожему текстовому описанию.
Материалы
