Проект направлен на обучение нейросети, обладающей способностью понимать и воспроизводить визуальные стили, характерные для признанных мастеров иллюстрации и концепт-арта.
Нейросеть обучается на репрезентативной базе данных картин знаменитого художника, изучая композицию, цветовую палитру, технику мазка, особенности освещения и другие ключевые элементы, формирующие его уникальный художественный почерк.
Художником, чьи работы стали основой данного проекта, является Ёдзи Синкава (Yoji Shinkawa) — легендарный японский иллюстратор, бессменный ведущий концепт-художник и арт-директор культовой серии видеоигр Metal Gear Solid и Death Stranding. Искусство Синкавы — это чистая кинетика. Он гениально объединил традиционную японскую живопись тушью (sumi-e) с западной эстетикой киберпанка и сложным военно-техническим дизайном. Его персонажи часто рождаются из хаотичных, агрессивных росчерков кисти, где тщательно проработанное, гиперреалистичное лицо или элемент механической брони внезапно растворяется в абстрактных монохромных пятнах и каплях чернил.
Для ИИ-модели адаптация стиля Синкавы представляет собой уникальный стресс-тест. Генеративные сети привыкли строить логичные, завершенные формы. Стиль Синкавы же требует от нейросети научиться «эффекту незаконченности» и элегантной абстракции — умению оставить часть холста пустой, передав динамику через брызги и пятна, не превращая их при этом в бессмысленный визуальный шум. Ниже представлены некоторые работы Синкавы, вошедшие в базу данных для обучения искусственного интеллекта.
Изображения для обучения
В рамках проекта обучение проводилось в облачной среде Google Colab. Ниже представлены ключевые фрагменты кода, использованные для настройки и запуска процесса файнтюнинга, а также их краткое описание.
Подготовка среды: Сначала мы устанавливаем нужные программы (библиотеки) в Google Colab. Они нужны, чтобы нейросеть могла работать с картинками и обучаться на них. Так как современные нейросети очень «тяжелые», мы используем специальные инструменты, которые сжимают процесс и позволяют запустить его даже на бесплатной видеокарте, не теряя при этом качества.
Запуск обучения: Это главная команда. Здесь мы буквально говорим нейросети: «Возьми базовую модель, посмотри наши картинки из папки датасета, запомни этот стиль по специальному кодовому слову и сделай нужное количество шагов тренировки». Чтобы облако не зависло от нехватки памяти, мы включаем экономный режим — смешанную точность и 8-битный оптимизатор. Это как упаковать большой чемодан вещей в маленькую ручную кладь.
Как это работает: Нейросеть шаг за шагом просматривает картинки и пытается уловить стиль Столенхага. Мы используем метод LoRA — это такой «умный фильтр». Благодаря ему нейросеть не ломает свои базовые знания о мире (она всё ещё помнит, как выглядит обычная собака или машина), а просто учится рисовать эти вещи в новом, меланхоличном стиле с нужными мазками кисти.
Процесс обучения нейросети для генерации изображений:
- Сбор и очистка базы изображений (картин художника, в данном случае).
- Выбор архитектуры нейросети (например, GAN, VAE).
- Обучение генератора и дискриминатора.
- Настройка параметров обучения (скорость обучения, функция потерь).
- Визуальная оценка качества полученных изображений, корректировка, если требуется.
Картины Ёдзи Синкавы отличаются ярким, узнаваемым стилем, который характеризуется несколькими ключевыми особенностями: • Мастерское владение тушью и эффектом небрежного, экспрессивного мазка (sumi-e). • Контраст между высокой детализацией (лиц, механизмов) и абстрактными пятнами, уходящими в пустое пространство листа. • Динамичные позы персонажей, передающие напряжение и безостановочное движение. • Монохромная палитра с редкими, но острыми цветовыми всплесками (часто красными или охристыми). • Специфический, угловатый и сложный дизайн футуристической экипировки и механизмов. Именно эти особенности делают работы Ёдзи Синкавы такими уникальными, запоминающимися и оказывающими огромное влияние на развитие концепт-арта в игровой индустрии.
Примеры сгенерированных изображений и промпты
Суровый ветеран: Close-up portrait of a grizzled veteran with an eyepatch, intense expression, wearing tactical gear, in the style of shnk style, monochrome with red watercolor splash, rough brush
Оперативница: A female operative in a sleek sneaking suit, holding a silenced pistol, dynamic pose, in the style of shnk style, sumi-e style, loose ink forms, highly detailed face.
Full body shot of a military commander in an ornate, heavy overcoat, authoritarian posture, in the style of shnk style, highly detailed face with abstract, loose ink strokes for the body.
Дрон: A heavily armored tactical drone hovering in the air, complex mechanical parts, in the style of shnk style, rough sketch, traditional media, ink wash background.
Кибер-ниндзя: A cyborg ninja holding a glowing high-frequency blade, dynamic action leaping pose, in the style of shnk style, expressive brushwork, dark ink shadows, orange color accent.
Шагоход: A massive bipedal nuclear tank mech, intricate mechanical details contrasted with abstract ink splatters, in the style of shnk style, technical drawing style, watercolor wash.
Оружие крупным планом: Close-up of a highly customized futuristic assault rifle resting against a concrete wall, in the style of shnk style, stark black and white contrast, sketchy lines.
Выживший в метель: A weary survivor wearing a heavy winter coat with a thick fur collar, standing in a raging blizzard, in the style of shnk style, cold blue and stark black tones, ink wash paintin
Разведчик в маске: A scout character wearing a tactical gas mask and thick winter goggles, holding a bulky radio transceiver, in the style of shnk style, traditional ink illustration, rough texture
Патруль в пустоши: A giant mechanical walker patrolling a frozen, desolate wasteland, imposing silhouette, in the style of shnk style, rough watercolor textures
Мистический антагонист: A haunting portrait of a mysterious antagonist, pale face emerging from deep black ink shadows, in the style of shnk style, minimalist brush strokes, negative space.
Как мне кажется, нейросети удалось приблизиться к уникальному стилю Ёдзи Синкавы и передать его. В изображениях можно уловить характерные признаки работ одного из главных представителей японского концепт-арта: небрежные росчерки туши, резкие контрасты и специфическую мрачную эстетику. И все же нельзя не отметить, что сгенерированные нейросетью изображения далеки от идеала. По-прежнему прослеживаются искажения в передаче сложных механизмов и анатомии в особо динамичных позах, а также проблемы с логикой абстрактных пятен туши, которые иногда превращаются в визуальный мусор, а не в часть осознанной композиции. Все эти вещи могут быть замечены даже непрофессиональным взглядом человека, не имеющего искусствоведческого образования.
Вывод
В целом, обучение нейросетей для генерации изображений является перспективным направлением, которое имеет потенциал кардинально изменить способы создания и потребления визуального контента, но требует внимательного подхода к его применению и регулированию.
Применение генеративной модели
Для генерации промптов был использован ChatGPT. Для исправления и/или описания некоторых нюансов в механике работы кода был использован Gemini Pro 3.
