Обучение нейросети под стиль Густава Климта

Цель проекта — разобраться, как работает обучение нейросети. Хотелось узнать насколько точно получиться воспроизвести особенности стиля и эстетики, композицию, цветовую гамму, фактуру.

Я выбрала работы художника Густава Климта. Он работал в стиле модерн и символизм, известен своим стилем — декоративностью, орнаментальностью и символикой. Цветовая палитра преимущественно в теплых тонах: желтый, оранжевый и коричневый. Характерные черты это — использование золота и серебра в качестве фона, узоры, геометрические фигуры и мотивы.

Найти большое количество качественных и подходящих для обучения изображений оказалось достаточно сложно. Я собрала всего 16 изображений работ Густава Климта, которые наиболее точно отражают его стиль и почерк и могут быть использованы для обучения. Перед загрузкой я привела картинки к единому квадратному формату.

Настройка окружения. Для сохранения результатов обучения модели генерации изобрежений использовался Hugging Face. Вход в аккаунт осуществляется при помощи токена.

Обучение и сохранение модели генерации изображений будет осуществляться при помощи сторонних библиотек и скриптов, поэтому необходимо их скачать и установить. Импортируем сразу все используемые библиотеки.

Объявим все глобальные переменные в одном месте.

Для обучения модели генерации изображений необходимы изображения, на которых это обучение будет проходить. Для проверки их наличия продемонстрируем несколько из них.

Для обучения модели генерации изображений необходимы описания каждого изображения, для упрощения сгенерируем их при помощи BLIP.

Обучение модели генерации изображений.

После обучения модели, необходимо её сохранить, чтобы была возможность её использовать после удаления среды, в которой она обучалась.

Как происходила генерация изображений.

Итоговая серия изображений демонстрирует сюжеты с персонажами и пейзажи с цветами в стиле художника.

На основе сгенерированных фотографий я сделала вывод, что готовая модель лучше работает с пейзажами, домами и цветами.

Картины с людьми хорошо передают ключевые особенности узнаваемого стиля, такие как текстура, теплая или золотая цветовая гамма, паттерны на фоне, но персонажи выходят не всегда эстетичными и иногда лица дублируются и перекашиваются.

В результате обучения нейросеть хорошо воспроизвела визуальные черты работ Густава Климта. Ей удалось отразить основные принципы стиля художника в итоговых изображениях.