Концепция
В процессе работы над проектом по применению генеративного ИИ я долгое время не могла выбрать тему. Использовать стили или художников, которыми я восхищаюсь, казалось издевкой, сведением чьей-то долгой и кропотливой работы к красивой картинке, сделанной за несколько секунд и сливающейся в сознании зрителя с тысячами таких же.
В какой-то момент я поняла, что для воссоздания через нейросеть лучше всего подойдет нечто настолько же универсализированное и неестественное. Так я пришла к использованию стиля соцреализма.
Основная идея проекта заключается в том, чтобы объединить два утилитарных подхода к искусству: подход современных пользователей ИИ и подход советской пропаганды.
«Ленин на трибуне», А. Герасимов. Фрагмент / «Мать партизана», А. Герасимов. Фрагмент
Мой датасет состоял из картин двух известных соцреалистов — Ильи Машкова и Александра Герасимова. Я приняла решения ограничиться двумя художниками, во-первых, для создания более унифицированного стиля, а во-вторых, поскольку на произведения многих других соцреалистов на данный момент распространяется авторское право.
«Девушка с подсолнухами», И. Машков. Фрагмент / «Колхозница с тыквами», И. Машков. Фрагмент
«И. В. Сталин и А. М. Горький на прогулке», А. Герасимов. Фрагмент / «Портрет генерал-майора медицинской службы А. Р. Злобина», И. Машков. Фрагмент
Процесс обучения
Для генерации использовалась сеть Stable Diffusion, а дообучение сети для эффективного подражания конкретному стилю происходилось через модели DreamBooth и LoRA.
Результат
Подражание соцреализму удалось модели достаточно удачно: она переняла у художников крупные мазки, контрастные тени, крепкость и рельефность человеческих фигур.
Из особенностей генерации можно выделить прежде всего цветовую гамму: в ответ на промпты, где не были четко указаны нужные цвета, модель почти всегда генерировала изображения, неестественно залитые красным.
Также на картинке выше можно наблюдать, что нейросеть не до конца переняла отличительные черты эпохи в одежде и окружении.
Однако в общем и целом стиль передан достаточно узнаваемо: угадываются и техника, и архетипы, и ключевые фигуры.
Неудачные пробы и эффект сталина
На примере менее удачных генераций можно наблюдать еще один интересный эффект: судя по всему, из-за обилия в датасете изображений Сталина (т. к. Александр Герасимов пользовался большим уважением у вождя и часто рисовал его портреты) почти на любом изображении с ним появляется сразу несколько одинаковых фигур.
Нечто, похожее на Сталина, возникает даже там, где ему быть не положено: для этой генерации промпт звучал, как «Stalin pictured down to his waist giving a speech with women and children in the audience»; тем не менее, на итоговой генерации в зрительном зале угадываются в основном почти идентичные Иосифу Виссарионовичу усатые мужчины.
Заключение
Модели успешно удалось перенять ключевые элементы стиля датасета, такие, как техника исполнения, цветовая гамма, антураж. Несмотря на иногда появляющиеся анахронистичные или просто странные детали, в общем и целом стиль выглядит узнаваемо. А учитывая характер всего изображенного, более вдумчивого восприятия от него и не требуется.
Ссылка на код
