Концепция
«DURER» — мой лонгрид, полностью опирающийся на творчество известного гравёра 15 века, Альбрехта Дюрера.
Гравюра Альбрехта Дюрера // Моя генерация (промт: dragon fantasy creature, medieval manuscript style, fine line work)
Идея — на время стать учеником в мастерской, и создать работы, подражающие мастеру. Вообще, я хочу в собственных целях использовать полученные генерации, потому что сама время от времени копирую гравюры Дюрера. Поэтому генерации я намеренно создавала без отхода от тем художника, поскольку мне очень импонирует эта эстетика: средневековый мир, драконы, соборы, ады.
Исходный датасет
Для обучения модели я собрала 113 квадратных изображений с работами Альбрехта Дюрера, исключительно гравюр.
Результат
Промт: portrait of a knight in armor, renaissance style, detailed cross-hatching // portrait of a woman with braided hair, renaissance portrait, detailed
Промт: a self-portrait with hat, precise shading, 15th century technique
Промт: city landscape with buildings, urban scene in Dürer style, engraving // botanical study of flowers and plants, monochrome, scientific illustration // mythological scene with angels and clouds
Промт: a cathedral with intricate gothic details, black and white engraving, fine lines // still life with skull and books, memento mori, renaissance symbolism
Промт: Limbo, the first circle of hell, virtuous pagans in darkness, renaissance engraving style // Lust, the second circle, souls swept by eternal storm, dramatic winds, detailed cross-hatching
Промт: forest with deer and trees, detailed engraving, black and white
Промт: Damned souls climbing burning mountain, purgatory, angels at top, renaissance composition // Demons tormenting sinners with pitchforks, fire and brimstone, detailed cross-hatching
Так модель обучилась. Я довольна результатом, потому что изображения получились очень детализированнми, действительно сохранившими исходный стиль из подборки. Особенно качественными, на мой взгляд, получились портреты: артефактов очень мало, и сначала невооружённым глазом можно принять генерацию за полноценную работу мастера: тонкая штриховка, мельчайшие детали, профессиональная игра со светом. Во многих генерациях даже сохранились поля у работы и текстура бумаги! Трудности возникли разве что с изображением толпы людей, в которой они сливаются в бесформенное нечто, однако в контексте картины это уместно, потому что это ад, и получился зловещий эффект.
Процесс обучения
Сначала я проверила доступность GPU и установила необходимые библиотеки: diffusers, transformers, accelerate, а также скачала скрипт обучения Dreambooth LoRA для SDXL. + проверила папку ./durer_dataset/ на наличие изображений с разными расширениями (.jpg, .png, .jpeg) и убедилась, что все файлы на месте.
Потом я загрузила модель BLIP и сгенерировала автоматические подписи к каждому изображению, создав файл metadata.jsonl с путями и промтами для обучения. Также настроила окружение: очистила память, сконфигурировала accelerate с параметрами fp16 и авторизовалась в Hugging Face для доступа к моделям.
Затем запустила обучение LoRA через accelerate launch с параметрами: базовая модель SDXL, разрешение 512, batch=1, gradient_accumulation=8, 300 шагов и сохранение чекпоинтов каждые 50 шагов, а также использовала оптимизации --use_8bit_adam, --gradient_checkpointing и --mixed_precision fp16, чтобы обучение прошло на видеокарте с 14–16 ГБ памяти.
И финально, я добавила блок очистки, который удаляет старые чекпоинты и сбрасывает память, чтобы можно было перезапустить обучение с новыми параметрами и загрузила обученную LoRA, применила её к модели SDXL и сгенерировала серию изображений в стиле Дюрера по промтам, начинающимся с триггер-фразы «artwork in Albrecht Dürer style».
Применение генеративной модели
В генерации кода мне помогал ИИ — Qwen 2.5
