Обучение генеративной нейросети под стиль Михаила Врубеля
Описание проекта
Основная тема проекта — обучение генеративной модели Stable Diffusion с LoRA-тюнингом для достижения генерации изображений, стилистически соответствующих живописным работам Михаила Врубеля. Задача состоит в том, чтобы нейросеть учла особенности цветовой палитры, композиции, изображения людей и природы, атмосферу работ и даже то, как художник наносил мазки.
Мною был собран датасет из различных работ художника, включающих не только его самые известные произведения и сюжеты, но и те, которые помогают выделить особенность его полотен. Поскольку живопись Врубеля во многом отличается от работ других художников именно настроением и атмосферой было важно, чтобы это было учтено.
Исходные изображения для обучения
Описание процесса обучения
Сначала мы подключаем видеокарту, для чего используем Google Collab, а не свой компьютер, что ускоряет обучение нейросети. А также устанавливаем и скачиваем библиотеки.
Затем создается папка, и загружаются файлы оригинальных картин Врубеля с компьютера.
Далее подключаем библиотеки и строим сетку, на каждую ячейку которой мы ставим изображение — делаем коллаж.
Затем на основании имеющейся модели будет происходить процесс обучения.
Также в приведенном ниже блоке мы описываем исходные изображения. Для этого используется модель image to text, чтобы не описывать каждое изображение вручную и ускорить процесс. Модель описала достаточно конкретно, но возможно не так красочно и подробно, как мог бы человек. Однако меня устроил полученный результат.
Далее происходит логин на Hugging Face. Делается своя директория и туда загружается результат работы.
Следующий блок запускает процесс обучения.
Затем происходит генерация картинки по описанию с учетом обученной модели.
Результирующая серия изображений
В итоге полученные изображения можно условно разделить на три раздела — работы, где изображены демоны, пейзажи и портреты.
Получившаяся модель хорошо генерирует изображения, связанные с демонами, и поскольку у Врубеля это отдельная серия работ, здесь они тоже образуют свою категорию.
promt: winged demon with shadowy form perched on ancient ruins at dawn, with the first rays of sun creating a golden halo effect
В приведенной работе достаточно точно стилистически передан фон и то, как изображен сам демон, который своими чертами напоминает оригинальную скульптуру демона, выполненную самим Врубелем.
promt: demon with shadowy wings in mid-flight against a bright, stormy sky, his wings spread wide, with lightning striking in the background / horned demon with leathery wings kneeling in a field of white flowers under a bright, full moon, creating stark contrast
Интересно рассмотреть различные пейзажи в стиле Врубеля, поскольку хорошо видно как нейросеть переносит стиль мазков художника и показывает даже непривычные для Врубеля сюжеты, в которых он все равно узнается.
promt: lone, gnarled tree on a windswept hill, its branches silhouetted against a dramatic, stormy sky
Здесь правильно передано именно настроение работ художника, обладающих некой мрачностью и драматизмом, а также художественные приемы и цветовая гамма.
promt: empty beach at low tide with patterns in wet sand and distant seagulls / lavender fields in Provence at sunset, with rows of purple flowers creating patterns across the rolling hills
Стиль художника считывается в приемах и в том, как «наложены» краски.
promt: hidden cave behind a thundering waterfall, with sunlight filtering through the curtain of water, revealing moss-covered rocks / placid, meandering river at twilight, with fireflies blinking among the reeds and willow trees on its banks
Стиль Врубеля хорошо узнается именно в работах, где присутствуют люди, поскольку художник изображает их определенным образом, а в особенности глаза, и у нейросети получается это передавать.
promt: woman with a serene expression, sitting on a stone bench in a sun-dappled, overgrown monastery courtyard
promt: traveler with a worn backpack and a determined gaze, resting at a crossroads under a gnarled, ancient tree / scientist intently studying a complex molecular model in a lab cluttered with beakers and scribbled-on whiteboards
promt: blacksmith pausing for a moment, wiping sweat from his brow in a forge filled with glowing embers and scattered tools / elderly fisherman mending his nets on a weathered dock, his face etched with deep wrinkles from a lifetime at sea
Комментарий
Можно выделить стилистические особенности, которым следует нейросеть: — Драматизм, свойственный художнику. Он особенно хорошо считывается в серии про демонов, но при этом виден даже пейзажах, которые по идее должны быть умиротворяющими (например, изображение нейросети с пляжем) — Визуально отделенные друг от друга мазки, переходы цветов не слишком плавные. — Хаотичность мазков, из-за чего объекты как бы растворяются друг в друге — Цветовая палитра соответствующая стилю художника
promt: canyon with towering, layered rock walls in shades of red and orange, carved by a thin, green river
Присутствует некая хаотичность и отчетливое разделение мазков. Также мазки находящиеся рядом отличаются по оттенку, но все равно сочетаются вместе.
promt: rugged, volcanic landscape with sharp black rocks and steam rising from fissures in the earth / tropical jungle with enormous blooming hibiscus flowers and orchids, with mist rising
Здесь и в вулканическом пейзаже с горой, и в работе с цветами считывается особое настроение, которое указывает нам на художника. Мы осознаем, что смотрим не романтические или спокойные пейзажи. Чувствуется напряженность, передаваемая и через цветовую палитру, и через композицию.
promt: young child peeking out from behind a heavy velvet curtain in a grand, but dusty and forgotten, ballroom
В данной работе хочется отметить бездонность глаз ребенка и особый взгляд всех людей, изображаемых художников, который нейросети удалось достаточно удачно отразить.
promt: lily pads and blooming water lilies covering a calm pond, with weeping willow branches touching the water’s surface
Нетипичный для Михаила Врубеля сюжет лилий, в котором несмотря на некоторую лиричность и светлою цветовую гамму, угадывается стиль художника.
Итог
Исходя из всего вышесказанного, можно сделать вывод, что нейросеть была успешно обучена под стиль выбранного художника. Обученная модель воспроизводит черты художника в самых различных сценариях, даже не свойственных его живописи, например в пейзажах или спокойных цветочных композициях. Мы можем проследить схожести в цветовой палитре, настроении, композиции, виде мазков.
Подобным образом можно обучить модели другим художникам, а также соединять стили различных художников между собой, создавая интересные комбинации.
