Концепция
Живое фото
Пленочная или же аналоговая фотография — интересный концепт и способ создания фотоискусства, снова набирающий популярность в современном мире. Фотохудожники любят ее за непередаваемое винтажное ощущение и большой простор для экспериментов с разными фотопленками.
Однако главным минусом такого хобби является цена на пленку и затраты на ее проявку и обслуживание фотоаппаратов. Поэтому я задалась вопросом: можно ли с помощью современных технологий воссоздать фотографии с похожей атмосферой?
Цель проекта — дообучение модели Stable Diffusion (SDXL) на основе техники Low-Rank Adaptation (LoRA). Так, с помощью ключевых слов и ассоциаций внутри модели, она сможет генерировать более точные «пленочные» фотографии на основе собранного датасета.
Основная задача заключалась в том, чтобы обучить модель воспроизводить характерные визуальные особенности пленки: зернистость, мягкий свет, естественную цветопередачу и легкие пересветы.
Датасет
В основу обучения модели легла моя коллекция пленочных фотографий, состоящая из 167 элементов.
Предварительно обработанный до квадратного формата датасет был выгружен в локальную среду Google Collab.
Подготовка к обучению
Импорт библиотек и AI-модели BLIP
Подготовка инфраструктуры для автоматического описания изображений, используя предобученную модель BLIP, которая используется для автоматического создания текстовых подписей к изображениям.
Модуль для работы с изображениями
Процесс обучения
Параметры обучения
Процесс обучения нейросети с помощью использования официального скрипта train_dreambooth_lora_sdxl.py от Hugging Face.
Осуществляется детальное 500-ступенчатое обучение с сохранением чекпоинтов.
Генерация изображений
Инициализация и настройка динамической модели для генерации
Промтовая ячейка
После локального сохранение модели интегрируем ее в Stable Diffusion и начинаем генерацию изображений с помощью позитивного и негативного промтов.
ffilm photo of distant friends on a rooftop, small figures, wide view of rooftops, sunset light, candid moment, warm glow, blown highlights, soft shadows, subtle grain
a film photo of a person walking on a beach at sunset, slightly overexposed, bright highlights, soft shadows, vintage grainy texture
Живое фото
vintage 35 mm film, mountain landscape. soft vintage light
vintage 35 mm film, grainy, horse silhouette in mountain flower field, strong orange tint, light leaks, faded colors, soft focus, nostalgic, 1970s aesthetic
vintage 35 mm film, city landscape with embankment. soft vintage light
film photo of a seagull on a railing by the sea, daytime, natural light, slightly overexposed, soft shadows, subtle grain, vintage texture
vintage film photo of colorful ribbons fluttering from shamans, with light rays passing through them, slightly overexposed
Для тестирования модели делаем второй вариант генерации — по чекпоинтам.
Генерация по чекпоинтами
Живое фото
a film photograph of a girl posing in profile under a red sun in the dark. her face is illuminated by a flash.
Сравнение фотографий общей генерации и объектов по чекпоинтам.
film photo of a café table with coffee and cigarettes, shot with flash, harsh highlights, deep shadows, grain, 90s aesthetic
Живое фото
a film photo of a beach at sunset, slightly overexposed, bright highlights, soft shadows, vintage grainy texture
vintage film photo of colorful ribbons fluttering from shamans, with light rays passing through them, slightly overexposed
Итоги
Цель исследования была выполнена — модель Stable Diffusion XL была успешно дообучена и справилась с задачей генерации аналоговых фотографий.
После обучения модель продемонстрировала способность генерировать изображения, визуально близкие к пленочной фотографии. Она успешно воспроизводит ключевые стилистические признаки и передаёт общее настроение аналоговых снимков.
Таким образом, использование LoRA и специализированного датасета позволяет эффективно имитировать винтажную эстетику.
Однако полученные изображения остаются лишь цифровой реконструкцией стиля, не заменяя реальный фотографический опыт.
Хоть искусственный интеллект и урезает затраты на производство фотографий такого типа, он никогда не сможет подарить пользователю опыт от проявки фотографий и результата собственной кропотливой работы.