Обучение генеративной нейросети Stable Diffusion под генерацию цветов

Основной задачей проекта было обучение нейросети для создания аутентичных фотографий различных цветковых растений, которые были бы похожи на реально существующие цветы. Кроме того, хотелось узнать, справиться ли нейросеть с созданием изображений, которые имеют определенную наложенную поверх них текстуру и напоминают фотографии из старых журналов о садоводстве.

В качестве источников исходных изображений были выбраны различные цветочные растения, особенно те, что имеют довольно необычную форму и расцветку. Фотографии были собраны из датасета на сайте kaggle с лицензией «CC0: Public Domain».

На изображениях представлены цветы разных форм, оттенков и размеров для того, чтобы разнообразить базу данных и позволить нейросети лучше искать закономерности и генерировать результаты.

На основе промптов получена серия из 10 изображений с разными цветами:

1. «vibrant red rose» — красивое поле, усеянное розами
2. «violet flower in the sunlight» — поле из ярких фиолетовых цветов
3. «white orchid» — белая орхидея посреди сада
4. «blue hydrangeas» — пучки из красивых голубых гортензий
5. «white daisy on the mountain» — белая маргаритка, расположенная в горах
6. «colorful tulips» — красочные тюльпаны, имеющие насыщенные оттенки лепестков
7. «pink lotus flower in a lake» — розовый лотос в пруду, который контрастом выделяется на фоне кувшинок
8. «yellow sunflower» — поле из подсолнухов, имеющее веселое настроение
9. «pink cherry blossom» — цветущее вишневое дерево в саду
10. «rainbow wildflower among the moss» — дикие цветы, растущие посреди мха

Анализ соответствия концепции. Полученные результаты, обработанные нейросетью, демонстрируют ее способность создавать реалистичные фотографии цветов. Модель усвоила ключевые принципы гибридизации.

Переданные элементы стиля:

1. Цветовая интеграция — Разнообразие в оттенках цветковых растений. Цвета не просто повторяются, но вместе с тем задают определенное настроение получившемуся изображению.
2. Текстуральное слияние — На фотографии исходного датасета наложен небольшой шум, что делает изображение похожими на фотографии из журналов о садоводстве. Нейросеть успешно отметила данную особенность и использовала ее при генерации.
3. Структурная адаптация — Получившиеся цветковые растения органично вписаны в окружение, не имеют четко выраженных артефактов или ошибок в структуре самого растения.

Изображение 1 и изображение 2 («vibrant red rose» и «violet flower in the sunlight») — Контрастные яркие цвета создают позитивное настроение. — В получившихся изображениях можно четко отделить передний план от дальнего, цветы не превращаются в одну общую неразборчивую массу.

Изображения 3, 4, 5 («white orchid», «blue hydrangeas», «white daisy on the mountain») — Успешное создание изображений с использованием диагонального ракурса, что придает динамику картинам. — Нейросеть способна создавать не только растения с яркими цветами, а также использовать более мягкие пастельные тона.

Изображения 6, 7, 8 («colorful tulips», «pink lotus flower in a lake», «yellow sunflower») — Успешная передача текстурных особенностей листьев и лепестков у подсолнухов, тюльпанов и кувшинок.

Изображения 9 и 10 («pink cherry blossom», «rainbow wildflower among the moss») — Гармоничное сочетание ярких оттенков с более приглушенными.

Процесс обучения Архитектура и параметры:

1. Базовая модель: Stable Diffusion 1.5
2. Метод адаптации: LoRA (Low-Rank Adaptation)
3. Размер датасета: 104 изображения
4. Количество шагов: 500 шагов
5. Разрешение: 512×512 пикселей

Дополнительные параметры обучения:

1. Batch size: 2 (train_batch_size=2)
2. Gradient accumulation: 2 шага
3. Learning rate: 1e-4
4. Mixed precision: FP16
5. Оптимизатор: 8-bit Adam
6. LR scheduler: constant (без разогрева)
7. Seed: 0

1. Stable Diffusion 1.5 (runwayml/stable-diffusion-v1-5)— Ссылка: https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5 — Цель: Базовая модель для генерации изображений

2. BLIP (Salesforce/blip-image-captioning-base) — Ссылка: https://huggingface.co/Salesforce/blip-image-captioning-base — Цель: Автоматическая генерация подписей к загруженным изображениям цветов

3. LoRA адаптеры — Цель: Обучение базовой модели на датасете цветов, эффективная персонализация модели под специфический стиль