КОНЦЕПЦИЯ
Цель проекта — обучить модель Stable Diffusion XL создавать новые сельские пейзажи, имитирующие эстетику старых полароидных фотографий.
Для этого используется техника DreamBooth + LoRA, которая позволяет «внедрить» в модель уникальный идентификатор «sks polaroid_village», ассоциированный с набором из 24 изображений. Все исходные фото были сгенерированы мной лично в программе nano_banana_pro и представляют собой разнообразные сельские сцены (деревья, поля, домики, закаты) с характерными признаками полароидного снимка: мягкая цветопередача, лёгкая зернистость, виньетка, немного выцветшие тона.
После обучения модель сможет создавать новые вариации таких пейзажей по текстовому описанию, сохраняя общий стиль и атмосферу.
ИСХОДНЫЕ ИЗОБРАЖЕНИЯ
Датасет состоит из 24 квадратных изображений (1000×1000 пикселей), созданных мной в nano_banana_pro.
Все изображения приведены к квадрату 1:1 и имеют достаточное качество для обучения. На каждом снимке присутствует характерный полароидный эффект (светлая рамка, мягкие цвета, иногда эффект старой фотографии).
КОД ДЛЯ ОБУЧЕНИЯ
Код основан на официальном примере Hugging Face и адаптирован под мою задачу.
Установка библиотек
Создаем папку для датасета и загружаем 24 фото
Генерация подписей через BLIP
Обучение DreamBooth + LoRA
Генерация изображений
РЕЗУЛЬТАТ ОБУЧЕНИЯ
Было сгенерировано 6 изображений, каждое из которых соответствует заданному промпту и сохраняет узнаваемый стиль «полароидного снимка».
Все изображения объединены общим стилем: мягкость, винтажная цветопередача, лёгкая нерезкость по краям, иногда имитация световой рамки. Модель успешно выучила эстетику полароидных снимков и сельские мотивы из датасета.
Промты для сгенерированных изображений:
- Дом в поле на закате;
- Тропинка через поле с цветами;
- Старый амбар под драматичным небом;
- Пруд с отражениями деревьев;
- Деревенская церковь в снегу;
- Фермер в пшеничном поле;
Дом в поле на закате — мягкие оранжево-розовые тона, характерная светлая рамка (её модель добавила сама, так как в датасете были фото с рамкой)
Тропинка через поле с цветами — лёгкая зернистость, немного выцветшие цвета
Старый амбар под драматичным небом — контрастность смягчена, облака выглядят как на старой фотографии
Пруд с отражениями деревьев — вода немного размыта, присутствует эффект винтажной оптики
Деревенская церковь в снегу — белые тона приглушены, снег не ярко-белый, а с голубоватым оттенком
Фермер в пшеничном поле — фигура немного размыта, как будто снята на старый фотоаппарат
ЗАКЛЮЧЕНИЕ
Проект успешно демонстрирует возможность тонкой настройки Stable Diffusion XL на небольшом датасете из 24 изображений для генерации новых сцен в заданном стиле.
Полученные изображения могут использоваться в качестве иллюстраций, вдохновения или элементов дизайна. Метод DreamBooth + LoRA подтверждает свою эффективность и экономичность.
