Рубрикатор
[1] Описание проекта [2] Исходные работы для обучения [3] Результирующая серия изображений [4] Комментарий [5] Ноутбук с кодом для обучения [6] Вывод
[1] Описание проекта
Основой и вдохновением для создания данного проекта послужили работы выдающегося художника 1760–1849 годов Кацусика Хокусая. Главной целью же является обучение генеративной модели Stable Diffusion с LoRA-тюнингом для достижения генерации изображений, которые, в свою очередь, были бы идентичны и соответствовали работам автора. Идея заключается в следующем: нейросеть, с учетом особенностей цветовой палитры, стилистических приемов, расположением природы, людей и животных, должна передать не только точность деталей, но и настроение, в которое нас погружает художник.
Для реализации вышесказанной цели был собран датасет из работ Кацусика Хокусая, включающий в себя различные сюжеты…
[2] Исходные работы для обучения
Кацусика Хокусай, Япония, 1760-1849
[3] Результирующая серия изображений
Prompt: «Cherry blossom petals falling like pink snow on an old wooden bridge in a Kyoto garden / A peaceful Zen rock garden with raked patterns, morning dew on the stones».
Prompt: «A merchant street in Edo period Japan with vendors selling traditional goods / A Shinto priest performing a ritual at the Itsukushima Shrine during high tide».
Prompt: «A solitary figure walking through the red torii gates of Fushimi Inari shrine at sunset / Karate master in a red gi with black belt executing a powerful kick, dynamic red and black energy».
Prompt: «A samurai practicing kenjutsu with his katana in a snow-covered courtyard / A warrior’s ghost haunting an ancient battlefield where wildflowers now grow».
Prompt: «A detailed ukiyo-e style depiction of Mount Fuji viewed from a fishing village with traditional boats / A lone ronin walking down a deserted road through rice fields, distant mountains».
Prompt: «Samurai in an intense duel during a heavy rainstorm, water splashing with every movement/A lone samurai standing on a rocky coast, katana in hand, facing the crashing waves of a turbulent sea».
Prompt: «Serene geisha playing the shamisen under a blooming sakura tree, her kimono detailed with intricate patterns/Geisha with red kimono and black obi holding a fan, dramatic red and black».
Prompt: «Samurai in crimson armor with black lacquer details drawing his katana, intense red and black lighting/Traditional Japanese fan painted with stark red and black patterns».
Prompt: «A traditional Japanese festival with fireworks over a river, people in yukata / A traditional wooden inn by a river, paper lanterns glowing warmly against the night / A neon-lit Tokyo street at night blending with ancient temple gates, futuristic and traditional».
Prompt: «The solemn ritual of seppuku in a dimly lit traditional room, shadow figures observing in silence / A traditional tea ceremony in a sparse tatami room, focus on the graceful hand movements».
Prompt: «A mysterious fox spirit disguised as a beautiful woman in a misty bamboo forest at dusk / Capybara / A majestic dragon coiled around a pagoda during a thunderstorm, lightning illuminating the scene».
Prompt: «A mythical kitsune playing with glowing orbs in an ancient forest, bioluminescent plants/A peaceful scene of carp koi swimming in a pond surrounded by maple trees».
[4] Комментарий
Итоговая серия работ наглядно демонстрирует, как алгоритм усвоил и переосмыслил ключевые принципы искусства Кацусика Хокусая…
[1] Нейросеть блестяще уловила динамику и монументальность природы. Передача глубины пространства строится на тонкой игре оттенков и резких контрастах, что характерно для гравюр укиё-э. [2] Четкое следование принципам — смещенные горизонты, диагонали, задающие движение, и всегда доминирующий, сакральный образ горы, объединяющий многие сцены. [3] Алгоритм научился расставлять акценты, наполняя работы значимыми элементами: будь то лодки рыбаков, или фигурки путников и самураев. [4] Многие изображения обладают характерной для старинной гравюры зернистостью и ступенчатым переходом цветов.
Главное достижение, на мой взгляд, заключается в том, что нейросеть не просто копирует, а усваивает саму суть стиля: его эпический размах, динамику линий и философское восприятие природы, перенося эти принципы на любые сюжеты.
Процесс: [1] подключение видеокарты, для этого используем Google Collab; [2] подготовка датасета, исходных изображений (.jpg); [3] генерация текстовых описаний (промптов) для каждого фрагмента (image-to-text); [4] настройка и запуск процесса обучения (тюнинг модели); [5] генерация итоговой серии.
[6] Вывод
Подводя итог всему вышесказанному, можно сделать вывод: цель проекта удалась. Нейросеть успешно обучилась генерировать не только природу, архитектуру, людей и животных, но и передавать идею, ту самую атмосферу и настроение в работах. Не менее важно: стиль художника был учтен!
