Идея
В рамках курса нам было необходимо обучить модель Stable Diffusion на основе собранного архива данных. В своем проекте я решила обучить модель рисовать в простом линейном стиле для оптимизации своей работы
Исходные изображения
Сгенерированные изображения
prompt = «an illustration in line style, happy new year "
prompt = «an illustration in line style, a woman»
prompt = «an illustration in line style, a man»
Процесс обучения модели
Настраиваем модель и скачиваем все необходимые обучающие скрипты:
Загружаем и просматриваем датасет:
Генерируем подписи к картинкам и создаем префикс для генераций:
Устанавливаем ускоритель, заходим в аккаунт Hugging Face и начинаем обучение:
Сохраняем модель на Hugging Face:
Генерируем изображения:
Итог
Модель требует доработки и большего количества изображений в датасете, но даже сейчас она может уловить и повторить общие черты: стиль. форму, цветовую палитру, сюжеты
Ссылка на блокнот