watercolor — обучение генеративной нейросети
Идея проекта
В процессе создания проектов я часто пробую искать вдохновение через пробные генерации в нейросетях и почти всегда отказываюсь от этой идеи в связи с тем, что итоговые изображения получаются не в моём стиле. Мой любимый стиль визуализации — акварельная стилизация.
В этом проекте я попробую обучить нейросеть по моим визуализациям, сохранив стилевое решение и текстурирование.
Основная цель проекта — концептуальные изображения ярмарки на открытом воздухе посредством генераций.
примеры стиля для обучения
Процесс обучения
Для начала были загружены необходимые для работы библиотеки — Diffusers и DreamBooth.
Далее загружаем изображения с локального хранилища на компьютере в Google Colab.
Проверяем, что изображения действительно выгрузились. Дополнительно обрезаю изображения до квадратного соотношения (1:1) с помощью кода, который был сгенерирован через ChatGPT.
фрагменты кода
Следующий этап подготовки: каждое изображение получает текстовое описание с помощью модели BLIP.
фрагменты кода
Далее получаем токен Hugging Face и приступаем к тренировке. Выбрано разрешение 512, максимальный шаг тренинга 500, а чекпоинт установлен на 250. Такая конфигурация позволяет сократить время, необходимое для тренировки нейросети. У меня это заняло 1 час.
фрагменты кода
Теперь можно сохранить обученную модель на Hugging Face и начать создавать генерации.
фрагмент кода
Пробные генерации
Первые промпты: «art of fair in COLLAGE WATERCOLOR style, autumn, orange colors» «art of clothing fair in COLLAGE WATERCOLOR style, autumn, orange colors»
Видно, что нейросеть переняла хорошо переняла стиль изображений, но при этом ей недостаточно ключевых слов, в связи с чем итоговый результат выглядит как мудборд или принт.
Далее я начала конкретизировать именно ключевые особенности ярмарки, чтобы получить более точный результат, что у меня и получилось.
промпт: «art of fair in COLLAGE WATERCOLOR style, vendor’s stalls, orange colors»
Когда мы получили изображения ярмарки, нужно уточнить, что ярмарка всё-таки на открытом воздухе. Также решила попробовать дать свободу по цвету.
промпты: «art of outdoor fair in COLLAGE WATERCOLOR style, vendor’s stalls, orange colors» «art of outdoor fair in COLLAGE WATERCOLOR style»
Теперь когда результат уже похож на задуманный мной концепт, можно начать экспериментировать с детализацией и локациями ярмарки. Пробую сделать медиа-зону и представить ярмарку более технологичной.
промпты: «art of outdoor fair in COLLAGE WATERCOLOR style, concert scene, evening, bright blue lights» «art of outdoor fair in COLLAGE WATERCOLOR style, concert scene area, evening, blue lights, media screens»
Получилось неплохо, но всё-таки решила вернуться к первоначальному направлению традиционной ярмарки, но поэксперементировать с сезонностью.
промпты: «art of outdoor art fair in COLLAGE WATERCOLOR style, presentation area, golden hour time, summer trees» «art of outdoor fair in COLLAGE WATERCOLOR style, winter skating rink, evening, multi-colored shimmering garlands, snowing» «art of outdoor fair in COLLAGE WATERCOLOR style, winter skating rink, evening, multi-colored shimmering garlands, snowing, red Ferris wheel»
Финальные генерации
Нейросеть удалось обучить ярким цветам, «сюжетности» изображений благодаря людям, изображенных на них, насыщенности деталями и, конечно же, визуальному стилю коллажности+акварели.
Общим параметром для изображений стали золотой и оранжевые цвета, поскольку было решено сделать ярмарку осенней и создавать этими изображениями тёплую и уютную атмосферу. Также к каждой зоне сгенерирован аксонометрический вид, для более общего вида на пространство.
Для начала был сгенерирован главный вход. промпт: «art of outdoor fair in COLLAGE WATERCOLOR style, gold and orange colors, sunset lighting, main entrance arch, multi-colored shimmering garlands, art-installations» «art of outdoor fair in COLLAGE WATERCOLOR style, axonometry view, gold and orange colors, sunset lighting, main entrance arch, multi-colored shimmering garlands, art-installations»
главный вход: перспектива и аксонометрия
Затем зона аттракционов для детей и взрослых. Здесь добавлен розовый цвет, ставший метафорой для игривости, лёгкости и сахарной ваты.
промпт: «art of outdoor fair in COLLAGE WATERCOLOR style, gold + orange + pink colors, toys, attractions, carousels, ferris wheel, cotton candy, human-height straight view» «art of outdoor fair in COLLAGE WATERCOLOR style, gold + orange + pink colors, toys, attractions, carousels, ferris wheel, cotton candy»
зона с аттракционами: перспектива и аксонометрия
Добавим к этой ярмарке кафе и прогулочную зону в лесу для отдыха в вечернее время.
промпты для кафе: «art of outdoor fair in COLLAGE WATERCOLOR style, gold + orange colors, cafe, sweet food, twilight lighting, fireflies» «art of outdoor fair in COLLAGE WATERCOLOR style, gold + orange colors, cafe, sweet food, twilight lighting, fireflies, top view on cafe spot»
промпты для чилл-зоны: «art of outdoor fair in COLLAGE WATERCOLOR style, gold + orange colors, chill zone between the trees with no roofs, people stargazing in the park, twilight lighting, constellations» «art of outdoor fair in COLLAGE WATERCOLOR style, gold + orange colors, rest zone, people stargazing in the park, twilight lighting, constellations, twilight lighting, constellations» «art of outdoor fair in COLLAGE WATERCOLOR style, gold + orange colors, axonometry view on forest, rest zone, people stargazing in the park, twilight lighting, constellations, twilight lighting, constellations»
кофе-зона
прогулочная зона: перспективные виды в разное время и аксонометрия
Список использованных в проекте инструментов:
Stable Diffusion — обучение генеративной нейросети под свой стиль; ChatGPT — генерация части кода, отвечающей за обрезку изображений; Google Colab — выполнение кода и генераций; Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; Adobe Photoshop — для коллажирования готовых работ.
