Для своего проекта я обратилась к одной из самых культовых фигур европейской легендарной традиции — королю Артуру. Меня привлекает средневековая эстетика с её символичностью, условностью и особой атмосферой, а также эмоциональная выразительность и драматизм романтизма XVIII века. В этом проекте я стремлюсь соединить эти два художественных мира, исследуя, как их образы и настроения могут сосуществовать в едином визуальном пространстве.
Исходные изображения
Смерть короля Артура, Джеймс Арчер, 1860 г. [1]/Ланселот и дракон, Артур Рэкхем, 1917 г. [2]
«Бог в помощь!», Эдмунд Блэр Лейтон, 1900 г. [3]
Все изображения, использованные в моём проекте, были взяты из Википедии и проверены на предмет лицензий и условий использования. Каждый файл имеет открытые лицензии, позволяющие свободное использование в учебных и исследовательских целях, включая лицензии семейства Creative Commons (CC BY, CC BY-SA) или находится в общественном достоянии (public domain).
Я убедилась, что для всех выбранных изображений соблюдаются требования лицензий, включая атрибуцию, и что их использование не нарушает авторских прав. Следовательно, все изображения можно легально использовать при формировании датасета для обучения модели в рамках проекта.
Результирующая серия изображений
В финальной серии изображений показан король Артур в стиле, вдохновлённом романтизмом XVIII века. Образ создавался на пересечении разных художественных традиций — романтических картин, средневековых гравюр и фресок. Благодаря этому получилось сделать работы, где сочетаются историческая условность и декоративность с яркими эмоциями и драматизмом. В некоторых изображениях действительно видно, как элементы гравюр вплетаются в композицию, и это не ломает идею, а наоборот, придаёт ей силу, подчёркивая связь с историческим и средневековым искусством. Особое внимание в процессе генерации я уделяла сохранению узнаваемого образа короля Артура. Несмотря на то, что промты каждый раз немного менялись, мне было важно удержать единый визуальный характер персонажа: его внешность, корону, доспехи, красную мантию и общее благородное, героическое впечатление. Отдельно я старалась работать с выражением лица, поскольку именно оно во многом определяет эмоциональное содержание изображения. Особенно удачными получились те результаты, где нейросети удалось передать не только внешний облик Артура, но и его настроение, внутреннюю напряжённость или торжественность. Во время работы возникали трудности. Иногда нейросеть слишком сильно уходила в реализм, из-за чего картинка теряла нужный стиль. А порой результат выходил слишком размытым, «мыльным» или просто корявым. Чтобы избежать таких проблем, приходилось несколько раз менять и уточнять промты, чтобы получить более стабильный эффект. К тому же нейросеть иногда застревала на одних и тех же образах, повторяя уже созданные варианты и с трудом переходя к новым композициям. Из-за этого приходилось тщательно менять формулировки. По мере развития серии я постепенно стала больше экспериментировать с позами и композицией, добавляя в изображения больше динамики. Благодаря этому серия изображений получилась более разнообразной.
Процес обучения
Процесс обучения модели начался с подготовки исходного материала. Для этого я собрала изображения короля Артура, которые находятся в свободном доступе и не защищены авторским правом. Все изображения были предварительно подкорректированы: я изменила их размер до квадратного формата 1 на 1, чтобы обеспечить единообразие датасета, и переименовала файлы для удобства организации и последующей загрузки в систему обучения.
Все это я для удобства и автоматизиции делала с помощью кода.
Для создания всех изображений одного размера и сделать их квадратными:
Переименовать изображения в arthur_1.jpg, arthur_2.jpg, arthur_3.jpg… и так далее:
Далее просто формируем zip архив и добавляем текстовые файлы. Эти текстовые аннотации крайне важны для обучения модели, так как они позволяют нейросети связывать визуальные признаки с языковыми описаниями.
Дальше начинается уже подготовка к обучению: в этом блоке кода задаются пути к изображениям и текстовым описаниям, уникальное имя концепта (kingarthurstyle) и папка для сохранения результатов. Также указываются параметры обучения: количество эпох, размер батча, скорость обучения и использование смешанной точности (fp16).
Дальше я просто беру обученую модель Stable Diffusion XL with DreamBooth and LoRA и дообучаю ее на своих данных (делаю я все это непосредственно в коде модели!). Я последовательно выполняю уже предоставленные ячейки с кодом, пока не дохожу до места, где мне необходимо поменять данные на свои.
Во-первых, я создаю папку lora_kingarthur, куда будут сохранятся все веса модели при ее обучении. Во-вторых (во втором блоке кода) Я меняю значения на свои.
В этом блоке кода мы загружаем модель Stable Diffusion XL и её VAE для работы с изображениями, подключаем заранее обученные веса LoRA для концепта kingarthurstyle и переносим модель на GPU (cuda) для генерации изображений.
Модель обучена и готова к использованию. Пишем первый промт.
Для написания промтов я использовала чат ГПТ. Сначала я в свободной форме писала, что хочу увидеть на изображении, затем ГПТ создавал более строгую и выверенную форму промта.
Приведу несколько примеров промтов:
prompt = «King Arthur kneeling on the ground, arrow clearly sticking out of his chest, blood on armor, looking up, angels descending from the sky above him, strong divine light shining directly onto him like a spotlight, dramatic scene, romanticism oil painting, expressive face, dark background, high contrast lighting» ← 7 изображение
prompt = «young clean-shaven King Arthur with light blond hair, crown on his head, holding a red rose in his hands, standing on the ruins of a medieval castle, thoughtful and fierce gaze into the distance, medieval fresco, manuscript illumination, tempera painting, flat medieval composition, noble and solemn expression, antique wall painting texture, dramatic lighting, epic composition» ← 2 изображение
prompt = «young clean-shaven King Arthur with short light blond hair, same face and appearance as before, crown on his head, standing on a high rocky cliff, red mantle flowing behind him, seen from a great distance, very small figure in the composition, tiny distant hero silhouette, ocean waves crashing against the cliff with visible water spray, storm clouds far away, bright sunbeams breaking through the clouds, medieval fresco, medieval wall painting, manuscript illumination, tempera, flat medieval composition, stylized figures, strong outlines, simplified anatomy, antique plaster texture, aged and worn fresco surface, cracked paint, faded colors, reduced realism, solemn heroic icon-like image» ← 3 изображение
