О художнице
Justine Cunha это французская художница, автор комикса «In Lya’ s eyes» и арт-директор в Dreamworks.
Работая с известным изданием Dupuis, она создает иллюстрации, которые привлекают внимание своим очарованием и глубиной.
Цель проекта
Я вдохновился ее стилем и решил создать, запрограммировать модель нейросети для генерации иллюстраций в ее стиле.
Целью было проверить, считает ли нейросеть ключевые особенности стиля художницы: округлые формы, яркую палитру.
По этому промпту нейросеть рисует только портреты, даже если в промпте их нет (portrait in justinecunha style, new york city, 8k).
Это связано с тем, что на всех изображениях она распознала людей.
Библиотека изображений
Библиотека изображений, взятых с ее социальных сетей и портфолио.
Сгенерированные изображения
ЛОРА: justinecunha_style_LoRA prompt: «portrait in justinecunha style,»
- portrait in justinecunha style
- portrait in justinecunha style
- portrait in justinecunha style, blonde-haired young girl, black background, 8k
- portrait in justinecunha style, blue-haired woman, 8k, winter
- portrait in justinecunha style, corean man, blue background, 8k
- portrait in justinecunha style, corean woman, blue background, 8k
- portrait in justinecunha style, happy man pirate on the boat
- portrait in justinecunha style, happy pirate on the boat, 8k
- portrait in justinecunha style, new york city, 8k
- portrait in justinecunha style, red-haired man at the street at winter, 8k
- portrait in justinecunha style, red-haired man, 8k, angry
- portrait in justinecunha style, red-haired man, angry, 8k
- portrait in justinecunha style, scared princess at the middle of a sea, 8k
- portrait in justinecunha style
Библиотека сгенерированных изображений
Библиотека изображений, которые я создал на основе стиля художницы.
Некоторые иллюстрации я генерировал без каких-либо особых пояснений по изображению, ограничиваясь «portrait in justinecunha style» , чтобы нейросеть смогла через время выделить главные черты и повсеместно их использовать.
Описание применения генеративной модели
Вся разработка проекта заняла около 3 часов, так как первоначально процесс был произведен в Kaddle, однако из-за проблем с сервисом, решением было перенести все в Google Colab.
Использованная модель: Stable Diffusion XL (SDXL) с дообученной LoRA-адаптацией.
Датасеты для обучения LoRA: Изображения собраны вручную из портфолио с ArtStation Justine Cunha
Сам процесс был настроен на закрепление в модели основных черт художницы в изображениях и их дальнейшее использование в генерациях уже созданных через Google Colab.
Для адаптации генеративной модели к стилю Justine Cunha был создан специализированный набор данных.
Итог
После написания нейросети и ее обучения, я сделал вывод что общие черты стиля она понимает, однако в точности обучить машину копировать стиль весьма трудоемкий и долгий процесс, в том числе в котором от основы (Stable Diffusion) зависит многое.
Основа как может изменить стиль до неузнаваемости, так и привнести много нового, сохранив отличительные черты в первую очередь.
Блокнот
Источник изображений