Обучение генеративной модели на основе работ cactithorn
Концепция
Цель моего проекта — это обучение нейросети рисовать в стиле художницы cactithorn, которая создаёт потрясающие портреты девушек. Стиль cactithorn уникальный и её картины обладают таинственной и где-то даже пугающей атмосферой. Моя задача — узнать насколько хорошо нейросеть сможет возпроизвести стиль cactithorn и передать необходимую атмосферу иллюстрациям.
Изображений для обучения
Процесс обучения
Датасет изображений для обучения нейросети я собрала вручную из социальных сетей художницы cactithorn. Датасет состоит из 81 иллюстрации художницы. Для обучения нейросети Stable Diffusion я использовала предложенный в лекциях код SDXL DreamBooth LoRA, который доступен на GitHub. Процесс генерации изображений осуществляется с использованием промптов и префиксом «illustration in style cactithorn».
Результаты генерации
Как мне кажется, полученные сгенерированные изображения обладают общей стилистикой художницы. Портреты получаются необычными и с подсвеченными чертами лица, характерными для оригинальных работ.
Сгенерированные изображения знаменитостей
После того как я сгенерировала портреты незнакомых людей, я решила посмотреть насколько хорошо нейросеть сможет сгенерировать портреты знаменитостей.
Тейлор Свифт и Джаред Падалеки
Тимоти Шаламе
Ким Кардашьян и Кендалл Дженнер
Аня Тейлор-Джой
Зендея и Анджелина Джоли
Селена Гомез
Кендалл Дженнер, Кайли Дженнер, Ким Кардашьян
Заключение
По итогу я могу сделать вывод, что нейросети удалось перенять основные элементы стиля и сделать необычные и пугающие одновременно иллюстрации. Однако изображения все равно не передают той «магии», которая присутствует на оригинальных работах художницы cactithorn. К тому же, не всегда получается сгенерировать изображения знаменитостей и передать все особенности их внешности. Тем не менее, я считаю, что у меня получилось выполнить свою цель и обучить нейросеть рисовать в определенном стиле даже известных людей.
Код
