Концепция
Портретная живопись Серова — пожалуй, самая искренняя, настоящая и живая в истории русского искусства. Сможет ли нейросеть, пройдя обучение по картинам мастера, воссоздать ту самую «живость» в своей галерее портретов в стиле Серова?
Исходные изображения для обучения
Для обучения искусственного интеллекта использовались изображения портретов Серова, опубликованные в интернете и являющиеся общественным достоянием. Всего было использовано 80 портретов Серова, выполненных в живописной технике на протяжении жизни художника.
Изображения для изучения
Результирующая серия изображений
На основе промтов создана целая картинная галерея из семи портретов в стиле Серова:
- «Молодой человек в галстуке» — portrait in SEROVSTYLE style, a young man with blond hair folded his arms across his chest
«Молодой человек в галстуке»
- «Девочка с щенком» — portrait in SEROVSTYLE style, A girl is sitting on the couch and smiling, holding a puppy in her arms
«Девочка с щенком»
- «Институтка» — portrait in SEROVSTYLE style, young girl in a white dress
«Институтка»
- «Девушка с жемчугом» — portrait in SEROVSTYLE style, young woman with pearl earring
«Девушка в жемчуге»
- «Девушка» освещенная солнцем» — portrait in SEROVSTYLE style, a woman in a hat looking out the window
«Девушка, освещенная солнцем из окна»
- «Молодая невеста» — portrait in SEROVSTYLE style, young girl in a white wedding dress
«Молодая невеста»
- «Старик с книгой» — portrait in SEROVSTYLE style, an old man sits in a high chair, holding a book in his hands
«Старик с книгой»
Развернутый комментарий результатов
Проект демонстрирует, что искусственный интеллект вполне способен создать галерею портретов в стиле Серова. Модель усвоила основные черты стиля художника:
- Реалистичное изображение человека, передача светотени, рефлексов, основных масс.
- Живое, быстрое движение кистью, накладывающиеся друг на друга грубые штрихи, особенно в одежде.
- Передача индивидуальных черт портретируемого, его характера и настроения.
- Спокойная цветовая палитра из приглушенных оттенков и мягких растяжек цвета.
Нейросеть успешно обрабатывала вводные данные, ухватила стиль художника и передала основные его черты на сгенерированных изображениях. При этом некоторые изображения («Молодая невеста», «Молодой человек в галстуке») больше соответствовали позднему, аккуратному стилю автора, с его спокойным освещением и мягкими переходами цвета, тогда как другие («Девушка, освещенная солнцем из окна», «Старик с книгой»), наоборот, больше тяготели к ранним картинам художника с их небрежностью, пастозностью и живостью.
Кроме того, все сгенерированные портреты имеют разрешение 1024×1024 пикселя, что в 4 раза выше тренировочного (512×512).
Процесс обучения
В основном для обучения использовалась генеративная модель Stable Diffusion XL с применением метода DreamBooth с техникой LoRA, что позволило «дообучить» нейросеть под новый «серовский» стиль.
Используемый датасет с изображениями состоял из 80 портретов Серова квадратного формата в хорошем качестве. С помощью модели BLIP к каждому изображению было сгенерировано текстовое описание с добавлением токена SEROVSTYLE. Итогом обучения стала LoRA-модель, которая может генерировать изображения в стиле Серова по текстовому промту.
Обучение заняло 500 шагов и около 50 минут на GPU Tesla T4 с параметрами: resolution 512, batch size 2, learning rate 1e-4, mixed precision FP16.
Заключение
В результате проекта получилась целая галерея портретов в стиле Серова, сгенерированная искусственным интеллектом. Однако ни одна нейросеть не сможет передать в своих изображениях ту «живость» и искренность, которая сквозит в каждом мазке Серова, и в которую так влюблены тысячи людей по всему миру даже много десятилетий спустя.
