Описание идеи
Проект посвящён обучению нейросети, которая способна воспроизводить художественный стиль Ивана Айвазовского и применять его к новым изображениям. В качестве основы используется модель Stable Diffusion XL (SDXL), а для дообучения — метод LoRA, позволяющий обучать модель быстрее и с меньшими вычислительными затратами.
Суть проекта заключается в том, что модель обучается на подборке картин Айвазовского с морскими пейзажами, после чего может:
1.Генерировать новые изображения моря в похожем художественном стиле по текстовому описанию 2.Переносить стиль Айвазовского на обычную фотографию моря.
Таким образом, проект показывает, как современные генеративные модели могут изучать визуальные особенности художника: освещение, цветовую палитру, фактуру волн, атмосферу неба и композицию морского пространства.Изображения для обучения были взяты с сайта Gallerix. (https://gallerix.ru/album/aivazovsky)
Процесс
Сначала была собрана подборка картин Айвазовского с изображениями моря. Эти изображения были загружены в рабочую среду и подготовлены для обучения: приведены к одному размеру и сохранены в отдельную папку.
Затем для каждого изображения была создана текстовая подпись, содержащая указание на художественный стиль через специальный токен AIVAZSTYLE. После этого была запущена процедура обучения LoRA-модуля на базе модели Stable Diffusion XL.
Когда обучение завершилось, полученные веса LoRA были подключены к генеративной модели. Далее проводилась проверка качества работы двумя способами:
1.Генерация новых морских сцен по текстовым описаниям; 2.Перенос стиля на реальную фотографию моря с помощью режима img2img.
На заключительном этапе были получены итоговые изображения, демонстрирующие, что модель успешно усвоила особенности художественного стиля Айвазовского и может применять их к новым визуальным данным.
Этапы обучения
Проведены следующие этапы: 1.Подготовка папок с исходными и обработанными изображениями; 2.Нормализация изображений и изменение их размера до 512×512; 3.Создание текстовых описаний для обучающих изображений; 4.Запуск обучения LoRA на базе SDXL; сохранение контрольных точек модели.
Параметры обучения в ноутбуке подобраны так, чтобы получить качественный результат при умеренных вычислительных затратах. В результате формируется компактный набор весов LoRA, который затем подключается к базовой модели для генерации изображений в нужной стилистике.
Исходные изображения для обучения
Фотографии для обучения
В качестве исходных данных используются 14 картин Айвазовского, посвящённых морской тематике. Эти изображения формируют обучающий датасет, на котором модель изучает характерные особенности авторского стиля: игру света на воде, драматичность волн, мягкие переходы цвета, морские пейзажи, корабли и атмосферные состояния природы.
Перед обучением все изображения приводятся к единому формату: переводятся в удобный вид для модели; обрезаются и масштабируются до размера 512×512 пикселей; сохраняются в отдельную обучающую папку.
Сгенерированные фото по промпту
Сгенерированные фото по промпту обучения (и то что пошло в коллаж)
Исходная фотография
Исходная фотография моря
Итоговое изображение
Фото на обученной сети
Результат
Результатом проекта является обученная LoRA-модель, которая успешно воспроизводит художественный стиль Айвазовского. После обучения модель способна создавать новые морские сцены по текстовому запросу, а также переносить данный стиль на обычные фотографии моря.
На выходе получаются изображения, в которых сохраняется морская композиция исходной сцены, но при этом появляются характерные признаки живописного стиля: мягкое освещение, выразительные волны, романтическая атмосфера, живописная цветовая гамма и эффект масляной живописи.
Коллаж
Комментарий
В итоговых изображениях удалось передать несколько важных черт стиля Айвазовского. Прежде всего это световая атмосфера: во многих работах заметны яркие закаты, лунные блики на воде и выразительное небо. Также хорошо воспроизводится сама морская среда — волны, отражения, глубина пространства и романтическое настроение.
Изображения серии отличаются друг от друга по освещению, погоде и композиции. В одних сценах море спокойное и светлое, в других — более драматичное и штормовое. Это показывает, что модель не просто повторяет один шаблон, а создаёт вариации в пределах выбранного стиля.
Код
