Антони ван Дейк — фламандский художник эпохи барокко XVII века, известный своими изысканными парадными портретами европейской аристократии.
В этом проекте я обучила нейросеть созданию изображений, неотличимых от его портретов.
Датасет
Выбор художника обусловлен тем, что работы Антони ван Дейка находятся в общественном достоянии, что позволяет легально развивать его искусство с помощью нейросети.
Был собран датасет из работ более 30 портретов автора, при этом изображения специально отбирались в ракурсе три четверти, чтобы уже обученная модель создавала генерации, близкие по композиции к авторским. В результате модель обучилась воспроизводить ключевые особенности барочного портрета и применять их в новых изображениях.
Обучение модели
Обучение модели проводилось в среде Google Colab с использованием GPU, что позволило развернуть полноценный пайплайн для дообучения генеративной модели. На первом этапе была подготовлена техническая среда: установлены библиотеки diffusers, transformers, accelerate, peft и bitsandbytes, а также загружен обучающий скрипт DreamBooth с поддержкой LoRA — это обеспечило основу для работы со Stable Diffusion XL и последующей адаптации модели под выбранный художественный стиль.
Датасет был сформирован из изображений, находящихся в public domain — в частности, портретов в стиле Антони Ван Дейк. Изображения были отобраны с композиционной однородностью, загружены в рабочую среду, структурированы и проверены визуально, что позволило сформировать цельную обучающую выборку, отражающую ключевые особенности портрета.
На следующем этапе для каждого изображения автоматически генерировались текстовые описания с использованием модели BLIP. Полученные подписи дополнялись единым стилевым префиксом и сохранялись в формате metadata.jsonl, формируя пары «изображение — текст». Это позволило связать визуальные характеристики (свет, объём, композицию, одежду) с текстовыми описаниями и задать основу для условного обучения модели.
В качестве базовой модели использовалась Stable Diffusion XL с дополнительным VAE для повышения стабильности генерации. Обучение проводилось методом LoRA, при котором адаптируется лишь часть параметров модели, что снижает вычислительные затраты. Были заданы базовые параметры: разрешение 512, небольшой batch size, ограниченное число шагов и оптимизация через 8-bit Adam. В процессе обучения модель постепенно перенимала характерные черты портретной живописи — работу со светотенью, объёмом, фактурами и композицией.
После завершения обучения веса были сохранены и могли использоваться повторно. На финальном этапе модель применялась для генерации новых изображений: к базовой модели подключались LoRA-веса, а параметр lora_scale позволял регулировать степень влияния обученного стиля, обеспечивая гибкое управление итоговым визуальным результатом.
Итоговые генерации
Portrait in Anthony Van Dyck style, child aristocrat in red garment with lace collar, frontal pose, soft facial expression
Portrait in Anthony Van Dyck style, elegant woman in white silk dress with blue drapery, holding fabric, graceful posture
Portrait in Anthony Van Dyck style, adult noblewoman holding a small flower, dark satin gown, lace cuffs, three-quarter pose, calm expression
Portrait in Anthony Van Dyck style, aristocratic man in red robe with fur trim, wide lace collar, composed pose, soft gaze
Portrait in Anthony Van Dyck style, aristocratic man with long curly hair and mustache, black attire, white lace collar, hand on chest
Portrait in Anthony Van Dyck style, aristocratic woman in black silk dress with lace collar, pearl necklace, seated pose, hand resting softly
Portrait in Anthony Van Dyck style, nobleman in polished armor holding helmet, standing pose, confident posture, refined expression
Portrait in Anthony Van Dyck style, noblewoman in golden dress with lace collar, pearl necklace, hands crossed, calm demeanor
Генерации получились качественными: без явных ошибок, с хорошим светом и объёмом. Но при этом у многих женских портретов лица получились слишком похожими друг на друга, а платья — слишком яркими и вычурными. Это говорит о том, что модель начала повторять одни и те же черты и переусилила самые заметные элементы стиля.
Ипользование генеративной модели
GigaChat — применялся для решения технических задач, связанных с программированием, а также для разработки и оптимизации текстовых промптов, описывающих стиль и визуальные характеристики изображений. https://giga.chat/
Stable Diffusion XL (SDXL) — выступала в качестве базовой генеративной модели, на которой осуществлялось создание изображений в стилистике барочного портрета. https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
DreamBooth — использовался для дообучения модели на датасете, сформированном из произведений в public domain, что позволило адаптировать SDXL под особенности портретов в стиле Антони Ван Дейк. https://huggingface.co/docs/diffusers/training/dreambooth
LoRA — применялась как эффективный метод дообучения, позволяющий с минимальными вычислительными затратами зафиксировать и воспроизводить характерные стилистические признаки (свет, объем, композицию) в новых генерациях. https://huggingface.co/docs/diffusers/training/lora