Описание идеи
Идея моего проекта заключается в том чтобы с помощью генеративной нейросети Stable Diffusion создать иллюстрации похожие на мой художественный стиль в 2021 году. Я выбрала именно этот год потому-что тогда активно формировался мой стиль, который вдохновляет меня и который используется мной и по сей день.
Для себя я ставлю главную задачу в том, чтобы обучить нейросеть моему стилю и посмотреть сможет ли она показать детали и особенности моего стиля, а также передать настроение через картинку.
ГенИИ: https://deepseek.com/en/ — для генерации промтов и редактирования. Stable Diffusion — обучение генеративной нейросети под свой стиль. Google Colab — среда выполнение кода и генераций. Hugging Face — получение токена для обучения нейросети, загрузка модели на сайт.
Исходные изображения
исходные изображения
Для начала я загрузила обучающий скрипт diffusers SDXL DreamBooth.
Затем я распаковала архив с исходными изображениями в папку content в коллабе.
Потом ввела функцию, которая показывает первые 5 изображений в виде сетки для проверки, что всё было загружено правильно.
Здесь я загрузила BLIP, чтобы автоматически подписывать изображения.
И создала подпись «my bright illustration style in 2021,» для каждого изображения.
Дальше я зашла в свой аккаунт Hugging Face для сохранения модели.
Установила библиотеки datasets, diffusers, bitsandbytes и скачала скрипт обучения. Загрузила датасет через load_dataset и проверила наличие колонок image и caption.
И потом создаю файл metadata.jsonl с подписями для каждого изображения.
В конце запустила DreamBooth LoRA для SDXL с указанием пути к датасету, подписями и параметрами обучения.
Теперь я приступила к загрузке обученной LoRA, написанию промта и генерация новых изображений в стиле моих иллюстраций.
Первый промт «my bright illustration style in 2021, girl with colorful hair and butterfly wings, sitting on a flower, dreamy background»
генерация изображения
В первой же генерации нейросети удалось передать яркое настроение моих иллюстраций, но она вышла не совсем точной, потому-что персонаж находится во весь рост, в то время как на моих иллюстрациях можно наблюдать не полный рост.
Второй промт «my bright illustration style in 2021, A girl in summer clothes stands and holds the sun in her hands, her body cut off just below the waist»
генерация изображения
Дальше я решила добавить в промт описание того, как должен выглядеть персонаж на картинке и написала «body cut off just below the waist».
Однако нейросеть не совсем корректно справилась, поэтому я продолжила попытки.
генерация изображения
Здесь персонаж не выполняет правильную позу и солнце находится позади неё, на фоне.
Поэтому потом я добавила конкретики в позу её рук и убрала солнце с заднего плана.
Промт: «my bright illustration style in 2021, A girl in summer clothes stands and holds the sun in her hands, stars are in the background, her body is cut off just below the waist»
генерация изображения
Последняя генерация вышла наиболее удачной, так как соблюдены все условия.
Промт: «my bright illustration style in 2021, A girl in summer clothes stands and holds a small sun, her body is cut off just above the knees, in the background there are bright stars without a sun»
Третий промт «my bright illustration style in 2021, A girl stands in a dark blue shining cloak and holds a black hat on her head with one hand, her body is cut off at the shoulders, in the background is a blue moon with a pastel rainbow»
Дальше я предприняла попытки генерации персонажа с видом до плеч, как в моих иллюстрациях.
генерация изображения
Промт: «my bright illustration style in 2021, A girl stands in a dark blue shining cloak and holds a black hat on her head with one hand, her body is cut off at the shoulders, in the background is a blue moon with a pastel rainbow»
генерация изображения
Промт: «my bright illustration style in 2021, A girl stands in any clothes, her body is cut off at the shoulders»
генерация изображения
Наиболее удачные варианты. Чтобы добиться этого я изменила «обрезанное по плечи» на «портрет».
Промт: «my bright illustration style in 2021, close-up portrait of a girl with glasses and cat ears, shoulders visible, colorful sweater, soft lighting, detailed face»
Промт: «my bright illustration style in 2021, portrait of a wizard with long silver hair, shoulders only, glowing staff, stars around, mystical lighting, detailed face»
генерация изображений
Четвёртый промт «my bright illustration style in 2021, two girls sitting side by side, knee-length shot, laughing together, matching outfits, bright colors, detailed faces, cozy vibe» и «my bright illustration style in 2021, two girls sitting side by side, knee-length view, one with purple hair, one with blonde hair, leaning on each other, laughing, matching outfits, vibrant colors, detailed faces»
Теперь я добавила двух персонажей и изменила их позу так, чтобы были видны только колени. Во втором варианте нейросеть справилась лучше.
генерация изображения
Пятый промт «my bright illustration style in 2021, one girl lying on her side, cropped at hips, leaning on her hand, detailed background with plants and flying insects, warm atmosphere, soft colors, intricate details»
В конце я решила сгенерировать иллюстрацию с детальным фоном. Здесь нейросети удалось передать детализацию и даже улучшить ракурс персонажа.
генерация изображения
Папка с иллюстрациями: https://drive.google.com/drive/folders/18qoCOTGOdhgKnNS-iTl7H8SEsoKv9w1C?usp=sharing
