Концепция
Создание серии иллюстраций с разными персонажами в целях поиска идей для создания новых дизайнов для комикса с помощью генеративных технологий.
Исходные изображения для обучения
Для обучения генеративной нейросети Stable Diffusion я использовала изображения собственного авторства.
Первые генерации
2D art in ALOXERU style, angel, male, tanned, brown hair, braids, pink eyes, cute 2D art in ALOXERU style, angel, blue hair, yellow eyes
2D art in ALOXERU style, angel, young, boy, cute, purple hair, purple eyes, smirking 2D art in ALOXERU style, angel, male, blonde, bob cut, green eyes
2D art in ALOXERU style, angel, blue hair, glasses 2D art in ALOXERU style, angel, silver hair, elegant
2D art in ALOXERU style, angel, blindfold, white hair 2D art in ALOXERU style, angel, green hair, handsome
Техническая реализация
Обучение происходило среде Google Colab с DreamBooth и LoRA. В качестве базовой модели была взята модель Stable Diffusion XL 1.0. Размер датасета составил 10 изображений 2000×2000 пикселей. Количество шагов — 500.
Анализ результата
Модель успешно переняла основные характеристики моего стиля: — Простые обобщенные формы — Удлиненные глаза — Мягкие цвета — Тонкий лайн-арт — Простой одноцветный шейдинг + были сохранены дизайн униформы и вид фонов.
Из минусов можно выделить тот факт, что (предположительно) в связи с недостаточным количеством материала для тренировки в полученных изображениях оказалось много артефактов. Помимо этого, модель отказывалась генерировать некоторые вещи. Например, повязку на глазах.
Финализация в ComfyUI
Проанализировав основные слабые стороны получившихся генераций, я решила использовать технику image-to-image и модель WAI-illustrious-SDXL внутри ComfyUI, чтобы сохранить мой стиль и при этом улучшить итоговый результат.
Worflow в ComfyUI
angel, male, portrait, brown hair, braids, amber eyes, tanned skin, pink background
angel, male, portrait, blue long hair, yellow eyes, sky background
angel, male, portrait, blonde hair, green eyes, annoyed, sky background
angel, male, young, cute, portrait, purple hair, purple eyes, smiling, purple cardigan, purple background
angel, male, portrait, silver hair, golden eyes, flirty, sky background
angel, male, portrait, blue hair, blue eyes, glasses, sky background
angel, male, portrait, white hair, bob haircut, blindfold, sky background
angel, male, portrait, minty hair, looking to the left, eyebrow arched, green eyes, braid, sky background
Вывод
Цель создать серию иллюстраций индивидуальных персонажей с разными дизайнами в моем стиле была достигнута. Теперь я могу выбрать те, что мне понравились, и создать на их основе финальных персонажей для комикса.
