Идея проекта заключается в том, чтобы обучить нейросеть создавать картины на основе работ Андри Матисса. Его стиль содержит характерные особенности, делая его произведения уникальными и узнаваемыми. Художник использует яркие цветовые сочетания, упрощенные формы, искажение силуэтов, повторение деталей, создающих ритм, а также он часто связывает фон и фигуры. Цель проекта — создать серию иллюстраций, сохраняющих стилистические черты Матисса.

В качестве материала для обучения нейросети были взяты 100 картин Матисса, наиболее ярко демонстрирующих его стиль. Среди них есть натюрморты, пейзажи, портреты, композиции с силуэтами и так далее. Такой подход позволил нейросети уловить общие особенности стиля, перекликающиеся в разных картинах.

В ходе генераций были использованы разные промты, содержащие как уже существующие сюжеты картин Матисса, так и совершенно новые идеи. Промты, повторяющие уже известные композиции, были использованы в целях проверки того, как нейросеть будет интерпретировать знакомые произведения. Например, картины «Золотая рыбка», «Урок с фортепиано», «Музыка», «Ананас», «Окно», «Цветы». Также было интересно поэкспериментировать с тем, как обученная модель будет работать с новыми образами, непривычными для Матисса. Для этого были применены такие промты: «Русалки на камне», «Подводное царство», «Пикник на траве», «Йога на пляже», «Серфер на волне». Это позволило посмотреть на диапазон возможностей данной нейросети: от переосмысления старых композиций до генерации абсолютно новых идей.

В результате была получена серия изображений, объединенная общими особенностями. В процессе обучения удалось передать характерные признаки художественного языка Андри Матисса. Итоговые иллюстрации получились очень яркими, все объекты лишены детализации, фон взаимодействует с фигурами, человеческие силуэты искажены, линии пластичны, в них присутствуют повторяющиеся элементы.

Работа с цветом

В картинах используются насыщенные контрастные цвета, тени отсутствуют, что делает изображения плоскими. Композиция делится на большие цветовые области.

Форма

Формы очень упрощены, нет детализации, лица изображены очень условно, линии пластичны

Взаимодействие фигуры с фоном

На заднем плане часто присутствует орнаментальность, что позволяет связывать фигуры с фоном

Повторяющиеся элементы

Некоторые детали иллюстраций повторяются: персонажи, элементы фона, что добавляет картинам ритма

Искажения

Персонажи часто вытянуты, непропорциональны, упрощенные формы и отсутствие детализации также добавляют людям неестественности

Также между получившимися изображениями видна вариативность: используются разные палитры цветов, при этом контрастность сохраняется, различаются позы, пейзажи, другие детали сцены. Таким образом, нейросеть комбинирует исходные данные: меняет формы, сочетания цветов, и создает новые композиции, сохраняющие элементы стиля, присущие всем картинам Матисса.

Включаем ускоритель GPU и проверяем, что он доступен, устанавливаем необходимые библиотеки и скачиваем скрипт для обучения модели

Загружаем датасет из 100 картин 1:1 и проверяем, что они загрузились

Генерируем подписи к картинкам

Создаем токен на hugging face

Устанавливаем библиотеку datasets и запускаем команду accelerate

Сохраняем модель в hugging face

Загружаем stable diffusion, пишем промты и генерируем изображения с помощью модели