ИДЕЯ
Мне захотелось обучить генеративную нейросеть Stable Diffusion для генерации картинок на основе моих скетчей за достаточно обширный период моей жизни (2018 — по наши дни), которые будут передавать мой фирменный стиль.
Главная цель проекта — посмотреть, насколько похоже нейросеть сможет отразить мой стиль.
Примеры изображений.
Полный архив скетчей.
ОПИСАНИЕ ПРОЦЕССА ОБУЧЕНИЯ
Загрузка изображений:
Автоматическая аннотация изображений с помощью BLIP:
Дообучение LoRA:
РЕЗУЛЬТАТ
В результате работы скрипта ‘train_dreambooth_lora_sdxl.py’, в указанной для вывода директории должны сохраняться результаты дообучения модели. Несмотря на не самые требовательные настройки обучения (разрешение 512, промежутки сохранения 20, выборку в 46 изображений), вывод отсутствовал.
Эксперименты с параметрами обучения не помогли решить проблему. В процессе обучения нагрузка на GPU составляла ~20%, что превышает значение в «простое», но не может свидетельствовать об активном обучении.
В связи с этим, можно сделать вывод, что причина неудачи проекта в неправильно настроенном окружении. Следовательно, получить итоговый результат, к сожалению, не удалось.
Однако сдаваться не хотелось, поэтому пришлось прибегнуть к другому варианту генерации изображений — сайт с нейросетью REWE. Для получения результирующих изображение было решено опробовать более легкий способ генерации, не включающий в себя кодинг, а только лишь грамотные промты.
Промт для данного набора изображений: Create a close-up portrait, highlighting every detail of the girl’s face; she’s smiling broadly and wearing colorful braces. Use this set of photos as a reference. Pay attention to the color palette and drawing style, and try to make the images as similar as possible.
Промт для данного набора изображений: A traditional media illustration using colored pencils, graphite, and ink on paper, depicting a portrait of a young woman with long braids. She is wearing sparkly glitter headphones that catch the light. The style features sketchy, expressive strokes with visible pencil marks and hatching. The woman has pale skin, expressive eyes accentuated with dark eyeliner, and pink blush on her cheeks. The artwork utilizes a color palette of cool blues, teals, warm pinks, salmon, and muted greys. The background is a warm pink filled with loose abstract doodles and scribbles, adding to the expressive, hand-drawn aesthetic.
Промт для данного набора изображений: Apple tree in a field with crazy colors, traditional media style
ВЫВОД
Так, получить достойный результат в процессе обучения нейросети не вышло, однако были сделаны выводы, отсылающие на ошибки в работе. Позже планируется переработать задание и получить более удовлетворительные материалы. А на примере достаточно легкого инструмента были рассмотрены варианты итоговых генераций.
