Обучение генеративной ИИ под стиль художника Синъити Сакамото
Идея проекта
Синъити Сакамото — фрагмент из манги «Безвинный»
Целью данного проекта стало обучение генеративной модели созданию изображений в уникальной художественной манере. Вдохновением послужило творчество мангаки Синъити Сакамото, чьи работы отличаются выразительной эстетикой: его стиль сочетает в себе изящество классической европейской гравюры, барочную театральность и гиперреалистичную детализацию. Композиции Сакамото напоминают произведения искусства XVIII века — каждая сцена выстроена как драматическое полотно, насыщенное символами, тонкими эмоциями и контрастом между красотой и жестокостью.
Мне стало интересно поэкспериментировать и проверить, насколько точно и выразительно модель сможет воспроизвести характерные особенности художественного стиля Синъити Сакамото — с его утончённой штриховкой, театральной композицией и контрастом между эстетикой и мраком.
Исходный датасет
Синъити Сакамото — фрагменты из манги «Безвинный»
Синъити Сакамото — фрагмент из манги «Безвинный»
Синъити Сакамото — фрагменты из манги «Безвинный»
Процесс обучения модели
Обучение модели происходило в Google Colab через подключение к графическому процессору T4.
Установка необходимых библиотек для работы
Подготовка датасета к работе
Генерация подписей к каждому изображению в датасете
Для обучения модели были заданы следующие параметры: • resolution = 512; • train_batch_size = 2; • max_train_steps = 500; • checkpointing_steps = 250.
С такими параметрами модель обучалась 45 минут.
Обучение модели
Сохранение модели в Hugging Face и генерация изображений с заданными промптами
Итоговая серия сгенерированных изображений
prompt: «A portrait of a man in the style of SAKAMOTO Shinichi, cinematic lighting»
Генерация нейросети
На первых генерациях прослеживается тонкая проработка тканей, кружева и волос, что напоминает классические гравюры, как и у Сакамото. Каждый элемент одежды выглядит почти осязаемым, что соответствует характерной для Синъити Сакамото барочной перегруженности деталей.
Однако, у Сакамото выражения лиц более экстремальны, порой гротескны, а здесь лица выглядит скорее стилизованно и гармонично. Фон здесь декоративный, напоминает эффекты бликов снега, а не сюжетно значимую среду.
prompt: «A mysterious woman in a trench coat holding an umbrella in the rain, anime noir, sakamoto shinichi style»
Работа Синъити Сакамото // Генерация нейросети
prompt: «2D art in SAKAMOTO SHINICHI style, Young girl with short hair holding a katana, dramatic lighting, full-body shot, sakamoto shinichi LoRA»
Работа Синъити Сакамото // Генерация нейросети
Несмотря на театральность, изображения все еще не несут той тревожной, болезненной атмосферы, характерной для манги Сакамото. Хотя изображение детализировано, текстуры выполнены более мягко и менее контрастно, чем у автора «Безвинного», где каждый миллиметр часто покрыт филигранной штриховкой.
prompt: «Close-up portrait of an old warrior with scars, detailed face, sakamoto shinichi manga art style»
Генерация нейросети
В процессе работы я попробовала разные варианты написания промптов, и наиболее удачными генерациями выходят, если просить модель сгенерировать изображение с портретом персонажа, добавив в конце, что это должен быть стиль манги Синъити Сакамото.
prompt: «Close-up portrait of a woman sitting by candlelight, faded eyes, sakamoto shinichi manga art style»
prompt: «Close-up portrait of a retired swordsman sitting by candlelight, faded eyes, sakamoto shinichi manga art style»
Генерация нейросети
prompt: «Close-up portrait of an old bodyguard with a broken tooth and stern glare, standing in alley, sakamoto shinichi manga art style»
Генерация нейросети
Данная серия изображений вышла куда более удачной: модель стала лучше генерировать лица персонажей и передавать эмоциональный надрыв.
prompt: «Gothic Victorian manor surrounded by fog, tall windows, intricate iron gates, sakamoto shinichi manga art style»
Работа Синъити Сакамото // Генерация нейросети
Помимо персонажей, мне стало интересно посмотреть, насколько хорошо модель сможет изобразить детальную архитектуру, наличие которой также характерно для работ Синъити Сакамото.
prompt: «Abandoned Victorian asylum with broken windows, ivy-covered facade, eerie silence, sakamoto shinichi manga art style»
prompt: «An abandoned building, sakamoto shinichi manga art style»
Генерация нейросети
Детализация действительно сохраняется, изображения успешно копируют ключевые визуальные мотивы Синъити Сакамото, однако некоторая часть в композициях все еще остается абстрактной и плохо считываемой.
prompt: «High-ceilinged ballroom in Victorian palace, chandeliers above, dust in the air, sakamoto shinichi manga art style»
prompt: «Dusty Victorian sitting room with antique furniture, flickering candlelight, sakamoto shinichi manga art style»
Генерация нейросети
Итоги
В заключение стоит отметить, что использование генеративных нейросетей в таком контексте остаётся весьма неоднозначным. Они могут служить полезным вспомогательным инструментом, например, для поиска вдохновения или создания предварительных референсов. Однако полная замена живого художника невозможна: нейросеть способна лишь воспроизводить уже существующее, часто с искажениями и артефактами, что не может считаться полноценной оригинальной работой.
Описание применения генеративной модели
• Stable Diffusion— обучение генеративной нейросети заданный стиль; • BLIP — генерация подписей к изображениям; • Hugging Face — генерация токена и загрузка модели на сайт.
