Тотемы северного побережья
Обучение Stable Diffusion на собственных иллюстрациях
В рамках профильного проекта 1 модуля 3 курса я разрабатывала понедельный календарь на тему тотемов северного побережья.
Всего было отрисовано 52 листа, каждый из которых принадлежал 1 из 4 культур и отличался цветовой палитрой в зависимости от культуры (хаида — сине-оранжевая, салиш — желто-фиолетовые и т. д.)
Процесс их создания был очень долгим и мне пришла идея: а можно ли было это как-то оптимизировать? Поэтому я решила обучить SD на некоторых тотемах. Я выбрала 18 своих тотемов (из-за ограничения во времени обучения модели) и обучила на них модель
Каждая картинка для обучения — отдельный тотем на черном фоне шириной 1024×2014 в формате JPG.
В ходе обучения я создала автоматические подписи к каждой и уже на них обучала итоговую модель.
Для настройки генерации изображений я использовала негативные промпты на создание узоров из самих тотемов, чтобы предотвратить заливку всего фрейма изображениями.
Иногда это помогало, а иногда нет
yellow-blue statue of shaman in TOTEM style
pink-green statue of raven in TOTEM style
Характеристики модели
Модель: Stable Diffusion XL Метод: LoRA (DreamBooth-подход)
Основные параметры: — resolution: 512 — batch size: 2 — max steps: 500 — mixed precision: fp16
statue of caveman in TOTEM style
totem in TOTEM style — общий промпт, вариация
yellow-blue statue of bird in TOTEM style
pink-green statue of fish in TOTEM style
statues of monkeys in TOTEM style
statue of wolf and raven in TOTEM style
statue of sheep in TOTEM style
purple-yellow totem of masked man in TOTEM style
orange-blue totem of bird in TOTEM style
Т.к. модель обучена на маленьком количестве изображений, вариация генераций очень большая: моя модель генерит как отдельно стоящие тотемы на заднем фоне, так и заливает картинку полностью паттерном из тотемов.
Если задавать конкретное животное, а не абстрактный тотем — вероятность, что она сгенерит всего лишь один тотем на черном фоне гораздо выше.
Что удалось реализовать полностью?
Пправильная палитра, обводка белым всего тотема, заливка фона черным, характер формы
генерация: statue of woman in TOTEM style / моя иллюстрация: птица, стоящая на медведе гризли, держащем человеческого ребенка
Что не удалось реализовать?
Повторяющиеся блоки, из которых собираются тотемы — нужна большая обучающая выборка
Вывод: для более точного попадания в стиль нужна более большая обучающая выборка.
В целом, даже сейчас она справляется неплохо
