Концепция
У вас когда-нибудь было такое чувство, глядя на знаменитые картины, что хотелось бы увидеть, как бы этот художник нарисовал, например корзину с яблоками или уличный фонарь, а сам художник, например, портретист?
Я искренне восхищаюсь творчеством Клода Моне, поэтому в написала генеративный код, который создает изображения по написанному промпту в стиле знаменитого художника, передавая всю атмосферу нежных мазков и легкости, словно рисунок вышел только из-под руки художника.
Примеры исходных изображений
Серия созданных работ
Rain on the clif
Вывод
Крайне сложно добиться схожести с каким-то определенным стилем, не имея под рукой достаточно обширного источника исходных изображений, ведь, например, художник никогда не рисовал современные небоскребы, поэтому генеративному коду сложно передать то, как бы художник изобразил тот или иной объект на современной улице.
Не смотря на это, получившаяся серия работ хорошо передает атмосферу работ художника и помогает ускорить процесс создания похожих изображений при необходимости.
Процесс создания
— Подключить GPU для большей мощности. Убедиться в подключении и работе видеокарты.
— Поставить библиотеку bitsandbytes для обучения Stable Diffusion XL.
— Установить новейшую версию библиотеки diffusers с GitHub.
— Загрузить train_dreambooth_lora скрипт с GitHub для обучения модели.
— Загрузить исходный материал.
— Проверить загрузились ли изображения.
— Создаем Blip для поиска подписей изображений.
— Через функцию def caption images создать нужные подписи.
— Создать запрос для генерации промпта «photo collage in Monet style» и создать файл с подписями через Json.
— Для обучения модели используется accelerate, позволяющий взаимодействовать с моделью на HuggingFace.
— Создать токен на Hugging Face и подключить ключ от токена в Colab.
— Загружаю необходимые библиотеки. Включаю процесс обучения.
— Указывая новый путь, сохранить модель в huggingface_Hub.
— Сохранить получившуюся обученную я обученной модели, на сайте Hugging Face.
— Исходную модель загрузить на Stable Diffusion XL и присоединить к модели lora_weights, указав repo_id.
— Создать промпты с необходимым префиксом.
Ссылка на код
Использованные ИИ
