Обучение генеративной нейросети под стиль стрит-арт художника Миши Most

В своём проекте мне захотелось изучить больше стиль стрит-арт художника Миши Most и посмотреть, сможет ли нейросеть вычленить основные особенности в его коллекции работ «future of the past» и сгенерировать похожие изображения.

В этой серии работ Миша Most размышляет над цивилизацией, которой свойствены и эволюция, и деградация.

«Яркие визуальные образы дополнены теориями и гипотезами ученых 60-х — 70-х годов XX века о ближайшем будущем, в том числе, и уже нашем настоящем, касательно как изменений в общественном строе, так и психо-физиологических особенностей хомо-сапиенса» [Миша Most, 2017].

Именно эта коллекция Миши Most и стейтменты к ней заинтересовали меня.

Идея сгенерировать нейросетью изображения в стиле Миши Most про будущее и искусственный интеллект в результате должна стать постироничным высказыванием.

В результате обучение модели под стиль Миши Most прошло удачно. И сгенерированная серия изображений имеет достаточное количество сходств с коллекцией художника. Однако есть и отличие в изображениях. Обо всём по порядку.

Основной отличительной характеристикой техники рисования Миши Most в коллекции «future of the past» — это жирные разноцветные линии.

Контуры всех предметов четкие и прорисованные.

Эту особенность нейросеть выполнила отлично. Все объекты на сгенерированных изображениях имеют толстую линию как основу.

На многих работах Миши Most — обилие объектов. Они наслаиваются друг на друга, не оставляя свободного пространства.

Нейросеть также удачно считала эту особенность стиля Миши Most, поэтому на всех сгенерированных изображениях фон обильно загружен.

Образ человека будущего в работах Миши Most выглядит как набросок с только соблюденными правилами анатомии. Художник не прорисовывает человека детальнее, иногда даже не обозначает глаза, он оставляет только структуру человеческого тела. Такое представление человека стало — одной из основных особенностей коллекции.

Нейросеть абсолютно так же рисует человека, что делает сгенерированные изображения очень похожими на оригинальные работы автора.

Обилие геометрических форм, у которых прорисован только контур, тоже отличительная особенность в работах Миши Most.

Обученная нейросеть достаточно точно повторяет формы и фигуры из исходных изображений.

Связь с космосом ещё одна важная деталь в коллекции «future of the past». Миша Most часто изображает планеты, как бы подчеркивая мотив будущности в своих работах.

Нейросеть идентично отображает планеты, так же, как и Миша Most, оставляя акцент на контуре предмета.

Единственным основным отличием исходных изображений художника от сгенерированных нейросетью является цветовая гамма.

В работах Миши Most цвета очень насыщены, яркость доходит до максимума.

А в изображениях, сгенерированных нейросетью, хоть и есть разноцветные цвета, но они достаточно тусклые и не такие контрастные как в исходнике.

Смотреть

1. Создала аккаунт в Kaggle
2. Перенесла туда исходный код проекта
3. Запустила среду GPU P100
4. Отобрала 48 изображений, откадрировала, чтобы размер у всех был 800×800 пикселей.
5. Загрузила изображения в Kaggle, создав датасет «most»
6. Запустила генерацию создания кэпшенов с помощью BLIP
7. Создала файл с подписями для изображений и прописала кэпш-префикс «photo collage in MISHAMOST style»
8. Удалила модель кэпшенинга BLIP, чтобы осовбодить память
9. Сконфигурировала скрипт accelerate
10. Зашла в аккаунт на Hugging Face, создала токен MISHA MOST
11. Установила библиотеку датасетов.
12. Начала процесс обучения, запустив команду accelerate
13. Сохранила получившуюся модель в Hugging Face Hub
14. Загрузила исходную модель stable duffusion xl, присоединила к этой модель веса lora, указав id моей модели с Hugging Face — polinnomore/mishamost_style_LoRA
15. Сгенерировала 20 промтов для изображений через ChatGPT, делая акцент в запросах на изображения с человеком, с геометрическими фигурами, и с абстрактными ощущениями.
16. Вставила промты в код и сгенерировала с помощью своей обученной модели 20 изображений в стиле Миши Most.

В проекте была использована модель stable-diffusion-xl-base-1.0

Генеративная нейросеть действительно смогла обучиться под стиль Миши Most и создавать достаточно похожие изображения на работы художника.