Обучение генеративной нейросети Stable Diffusion на датасете с моими иллюстрациями, чтобы посмотреть насколько хорошо модель может воспроизводить заданный визуальный стиль.
В качестве основы был выбран векторный стиль с упрощёнными формами, градиентными заливками и повторяющимися элементами (облака, животные, фантастические существа).
Задача состояла в том, чтобы модель научилась не только передавать общий характер изображений и повторять, но попробовать сгенерировать новые объекты и сюжеты из имеющегося визуала.
Обучение генеративной модели
Обучение проводилось на основе Stable Diffusion XL Base 1.0 с использованием подхода DreamBooth + LoRA.
Датасет
Для обучения был собран датасет из 26 изображений квадратного формата (1:1). Так как иллюстрации из разных проектов был риск не попасть в единую стилистику, но главная идея была передать векторный фигуративный стиль и насыщенность цветов.
После обучения была сгенерирована серия изображений в разных вариациях.
prompt = «photo collage in ELILYK style, sky and sun»
Самая первая попытка генерации с самым простым промптом « sky and sun» без каких-либо дополнительных стилевых условий. Результат получился не самый удачный, очень простая и своеобразная абстракция, но с большим количеством галлюцинаций и ошибок.
prompt = «photo collage in ELILYK style, cute character»
Еще один короткий промпт тоже не увенчался успехом, нужно пробовать добавлять больше контекста и пробовать писать промпты с сюжетом и деталями.
prompt = «photo collage in ELILYK style, layered textured paper collage, soft muted palette, dreamy nostalgic mood, open book turning into a landscape»
prompt = «photo collage in ELILYK style, layered textured paper collage, soft muted palette, dreamy nostalgic mood, rabbits»
С помощью Chat GPT генерируем единый промпт с интересным сюжетом и детальным описанием. Теперь сюжет хорошо читается и картинка выглядит аккуратнее и понятнее, но теперь немного не сочетается по стилистике.
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, bright sky blue lavender yellow orange and pink, soft grain texture, clean crisp silhouettes, square format
prompt = „photo collage in ELILYK style, bold symbolic composition, bright saturated palette, sky blue lavender pink yellow and white, soft grain texture, clean crisp silhouettes, square format, a dreamy valley filled with floating umbrellas, bouncing rabbits and soft clouds shaped like islands, cheerful fantasy landscape with strong visual unity "
Дальше одинаковое начало промпта позволяло даже в разных сюжетах и цветовой гамме выдерживать единый стиль и меньшее количество галлюцинаций.
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, cobalt blue black white icy blue and mint highlights, soft grain texture, clean crisp silhouettes, square format, a flock of magical birds circling a frozen tree inside a decorative square frame, snowy fairy forest at night, elegant and striking scene»
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, ultramarine cyan white silver and black, soft grain texture, clean crisp silhouettes, square format, a swan princess crossing a lake made of geometric ice and reflections, crescent moons and sharp reeds surrounding her, poetic winter fairy scene»
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, electric blue hot pink purple turquoise and white, soft grain texture, clean crisp silhouettes, square form
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, electric blue hot pink purple turquoise and white, soft grain texture, clean crisp silhouettes, square format, a fairy queen with long geometric wings opening a gate made of flowers and keys, enchanted garden with glowing suns, playful magical atmosphere, cohesive storytelling scene»
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, vivid coral violet cyan yellow and white, soft grain texture, clean crisp silhouettes, square format, a dragon curled around a moonlit tower above a geometric forest, stars hanging like ornaments in the sky, fairy tale night scene with strong central silhouette»
prompt = «photo collage in ELILYK style, flat geometric vector poster in ELILYK style, bold symbolic composition, bright saturated palette, neon pink cyan violet blue and mint gradients, soft grain texture, clean crisp silhouettes, whimsical surreal mood, square format, a unicorn standing on impossible crystal stairs under two moons, glowing clouds and floating stars around it, magical night landscape, decorative and cohesive scene»
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, magenta purple blue mint and white, soft grain texture, clean crisp silhouettes, square format, a castle built on the back of a giant unicorn walking across the sky, clouds shaped like flowers and stars hanging from ribbons, surreal fantasy landscape»
Мелкие ошибки в виде лишних копыт у лошадей и др., конечно, сохранялись, но в целом модель позволила генерировать разные сюжеты в единой стилистике с возможностью дальнейшей доработки.
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, electric blue hot pink purple turquoise and white, soft grain texture, clean crisp silhouettes, square format, a girl with oversized wings made of leaves and stars standing in an enchanted garden, luminous flowers, floating suns and tiny birds surrounding her, bright magical storybook scene»
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, bright sky blue lavender yellow orange and pink, soft grain texture, clean crisp silhouettes, square format, a dancing princess with flowing geometric hair balancing on clouds and umbrellas above a pastel dream landscape, stars and crescents scattered across the sky, joyful and striking composition "
С генерацией людей читуация усложняется, но в целом композиция и стиль все еще хорошо читаются.
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, bright coral cyan violet green and white, soft grain texture, clean crisp silhouettes, square format, a biology laboratory turned into a fairy castle where flasks contain moons, cells and tiny dragons, educational fantasy scene with playful surreal details "
Встречались даже варианты, которые при повторном запуске выдавали очень похожий результат.
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, bright green cyan pink purple and white, soft grain texture, clean crisp silhouettes, square format, a biology inspired forest where mushrooms reveal cell patterns and leaves contain bright veins like nervous systems, tiny foxes and birds moving through the scene, vivid magical ecosystem»
prompt = «photo collage in ELILYK style, bold symbolic composition, bright saturated palette, bright pink acid green cyan blue and black, soft grain texture, clean crisp silhouettes, square format, a biological fantasy scene with a giant flower opening to reveal cells, DNA spirals and butterflies, a curious child looking into the structure of life, educational and magical»
Результаты показывают, что модель в целом смогла воспроизвести основные особенности исходного стиля, но с новыми объектами часто возникали галлюцинации и один и тот же промпт мог давать кардинально разные результаты.
Описание применения генеративной модели
В проекте были использованы следующие модели:
Stable Diffusion XL — для обучения и генерации изображений BLIP — для автоматического создания подписей к изображениям ChatGPT (OpenAI) — для генерации вариаций промптов
