Световая флора

Проект исследует способность света пересобирать реальность. В этой вселенной он не просто освещает предметы, а превращает их в нечто иное, своего рода инсталляцию. Например дерево становится живым световым волокном, а вода превращается в парящие световые сферы.

Он не добавляется к объекту, а прорастает сквозь него, меняя структуру, плотность и текстуру.

Датасет для обучения сформирован на основе открытых визуальных референсов из Freepick Premium. Все материалы использованы исключительно в некоммерческих учебных целях для исследования возможностей генеративных нейросетей.

*Исходный датасет нигде не публикуется! Итоговые генерации являются оригинальными и не воспроизводят исходные референсы.

Здесь представлены: фотографии различных цветов, суккулентов, световых явлений и неоновых текстур.

На основе промптов с использованием обученной LoRA и триггера bioluminescent flora получена серия изображений, демонстрирующих возможности модели:

1. Светящийся цветок
2. Аллея из деревьев, которые сами освещают дорогу
3. Лотосы с холодным зеленым сиянием на поверхности тёмной воды
4. Сияющие изнутри медузы
5. Светящиеся руки человека
6. Композиция леса, витиевато излучающая зелёное и синее сияние

Модель научилась воспринимать свет не как настройку освещения, а как свойство самих объектов. В сгенерированных изображениях свечение не добавляется к готовой форме, а становится её частью, свет прорастает изнутри, меняя текстуру и цвет.

В серии заметно несколько устойчивых приёмов: — Свет как форма (лепестки, листья и стебли могут терять материальность, превращаясь в сгустки света) — Единая световая среда (растения в кадре настроены на одну частоту свечения, что создаёт общую целостность) — Разная природа свечения (модель различает мягкое сияние цветка и пульсирующее свечение светящегося леса)

Архитектура и параметры — Базовая модель: Stable Diffusion 1.5 (runwayml/stable-diffusion-v1-5) — Метод адаптации: Dreambooth с LoRA (Low-Rank Adaptation) — Размер датасета: 16 изображений — Количество шагов: 300 — Разрешение: 512×512 пикселей — Batch size: 1 — Gradient accumulation: 4 шага — Learning rate: 1e-4 — Оптимизатор: 8-битный Adam (bitsandbytes) — Триггер: bioluminescent flora

Платформа и инструменты Обучение проводилось в среде Kaggle с использованием GPU Tesla T4×2. Для текстового сопровождения датасета использовались универсальные промпты с единым префиксом, фиксирующим триггер, что позволило стандартизировать обучающие данные без сложной разметки.

Датасет был приведён к квадратному формату 1:1 с разрешением 512×512 пикселей. Для каждого изображения использовался единый текстовый префикс 'bioluminescent flora, glowing plants, bioluminescent light, fantasy botanical, night scene, ethereal glow', что позволило модели усвоить общую эстетику без индивидуальной разметки каждого снимка.

Обучение проводилось с использованием gradient checkpointing для экономии видеопамяти и 8-битной оптимизации. Всего выполнено 300 шагов с сохранением промежуточных чекпоинтов каждые 100 шагов. Итоговая модель весит 22 МБ и совместима со стандартными пайплайнами Stable Diffusion 1.5.

Stable Diffusion 1.5 — Ссылка: https://huggingface.co/runwayml/stable-diffusion-v1-5 Цель: Базовая архитектура для генерации изображений и основа для обучения LoRA

LoRA (Low-Rank Adaptation) — Ссылка: https://huggingface.co/docs/peft/en/developer_guides/lora Цель: Метод параметрически эффективной адаптации базовой модели под специфический стиль без полного переобучения всех весов

Dreambooth (реализация в скрипте diffusers) Ссылка: https://huggingface.co/blog/dreambooth Цель: Техника персонализации модели, позволяющая внедрить новый стиль через обучение на небольшом датасете

Hugging Face Diffusers Ссылка: https://github.com/huggingface/diffusers Цель: Библиотека для работы с диффузионными моделями, использованная для загрузки модели, применения LoRA и генерации

Hugging Face Accelerate — Ссылка: https://huggingface.co/docs/accelerate/index Цель: Оптимизация обучения на GPU, управление распределёнными вычислениями

Bitsandbytes — Ссылка: https://github.com/TimDettmers/bitsandbytes Цель: 8-битная оптимизация для экономии видеопамяти во время обучения

DeepSeek — Ссылка: https://chat.deepseek.com Цель: Помощь в разработке концепции и подборе технических решений