Снежный барс
Снежный барс обитает в глубоких горах, избегая людей. Его окрас, состоящий из светлых серо-коричневых тонов, помогает ему скрываться в заснеженной каменистой местности. Длинный хвост помогает поддерживать баланс при перемещении по скалам, характерно большие лапы не дают провалиться под снег, а густая шерсть защищает от холода
Фото с Pinterest
Датасет
Набор фотографий снежного барса был взять из большего датасета 10 видов больших кошек
Я очень люблю кошек и была рада найти подходящий доступный датасет с моим любимым видом
Большой датасет распространяется по лицензии CC0, я взяла только 1/10 его часть, которая включает 231 фотографию
Скриншот датасета
Идея проекта и реализация
С помощью генеративной модели Stable Diffusion XL я хотела воссоздать необычный окрас и физиологию снежного леопарда. Для этого использовались DreamBooth и LoRA, которые должны были обучить модель с помощью датасета
Сначала устанавливаются необходимые библиотеки: diffusers, transformers, accelerate, peft, bitsandbytes, datasets и safetensors, после чего загружается обучающий скрипт DreamBooth для SDXL. Далее создаётся папка для локального датасета, куда загружаются изображения снежного барса. Эта директория передаётся в обучение через параметр --instance_data_dir. Запускается обучение DreamBooth LoRA на базе stabilityai/stable-diffusion-xl-base-1.0 с использованием оптимизаций fp16, gradient checkpointing и 8-bit Adam, которые позволяют уместить обучение SDXL в Colab.
После обучения загружается базовый пайплайн SDXL, к нему подключаются обученные LoRA-веса, и модель переносится на GPU. Затем по нескольким промптам генерируются новые сцены со снежным барсом, а негативный промпт помогает снизить количество ошибок таких как размытость, лишние детали и артефакты.
Для помощи в написании кода и его описания использовалась модель GPT 5.4
Результат
У обученной модели хорошо получилось повторить ключевые черты снежного барса. Я генерировала только 6 фото, все они смогли показать правдаподобного снежного барса в разных ракурсах и окружениях
