Пончики — штука простая и понятная. У них есть форма, есть глазурь, есть посыпка.
Задача проекта — собрать датасет из реальных фотографий пончиков и дообучить модель, чтобы она научилась передавать ту самую «живую» текстуру: неровности глазури, хаотичную посыпку, пузырьки на тесте. Чтобы пончик выглядел не как 3D-модель, а как настоящий, из ближайшей кондитерской.
Для обучения использовались около 30 стоковых фотографий пончиков.
Каждому изображению подписали промпт. Все промпты начинаются с одной и той же фразы: «a photo of donut»
Якорь нужен, чтобы модель понимала: всё, что идёт после — это вариации одного и того же объекта. Так она учится различать типы пончиков, но не теряет понимание, что это всё ещё пончик.
ОБУЧЕНИЕ
Параметры обучения
Для дообучения использовали LoRA — метод, который добавляет к большой модели небольшой набор дополнительных весов.
После того, как мы час ждали дообучения ИИ чуть более часа, далее всё намного проще.
Загружаем обученный адаптер и пишем промпт:
Якорь обязателен, без него модель не использует дообученные веса. Если хочется чего-то конкретного, промпт можно расширять.
«a photo of donut, donut as a wedding cake, tiered donut tower, decorated with sprinkles»
«a photo of donut, macro shot of glazed donut, sugar crystals visible, shiny glaze, detailed texture»
«a photo of donut, donut with gold leaf and edible flowers, luxury dessert, elegant presentation»
«a photo of donut, donuts stacked on a plate, cup of coffee next to it, cozy cafe atmosphere»
«a photo of donut, glazed donut with sprinkles, colorful, bakery display, soft lighting»
«a photo of donut, chocolate frosted donut with rainbow sprinkles, on a marble countertop»
ИТОГИ
Можно расширить датасет: добавить больше типов пончиков, больше ракурсов, больше разного освещения. Можно попробовать увеличить количество шагов обучения, чтобы модель усвоила ещё больше деталей. Можно поэкспериментировать с комбинацией LoRA и ControlNet, чтобы управлять формой и композицией.
Но уже сейчас результат есть: модель, которая понимает, что такое пончик, и умеет его рисовать.
ССЫЛКИ
