примеры фотографий из датасета
*все авторские права на использование фотографий из датасета принадлежат мне
В работе продюсера фото и видео съемок ключевую роль играет умение быстро визуализировать сцены, экспериментировать с ракурсами, освещением и цветовыми решениями ещё до начала съёмочного процесса. Традиционно для этого привлекаются художники, создающие раскадровки и концепт-арты, что требует дополнительного времени и бюджета.
Цель этого проекта — создать инструмент на базе Stable Diffusion, который, обучившись на кадрах из реальных съёмок, сможет генерировать новые изображения, сохраняя характерный визуальный стиль и помогая в этапе предпродакшена.
В начале я решила посмотреть, как нейросеть визуализирует фотографии, на основе моих съемок
параметры для обучения модели
1-3 фрагмент кода генерации
Далее на основе обученной модели я решила повторять конкретные кадры
4 изображение фрагмент с кодом
5 изображение фрагмент с кодом
6 изображение фрагмент с кодом
7 изображение фрагмент с кодом
Комментарий
Нейросеть хорошо справилась с простой функцией повторения стилистики: минималистичные портреты с необычными ракурсами и персонажами.
Однако для большей вариативность приходилось прописывать дополнительные детали, чтобы генерируемая картинка получалась более приближенная к оригиналу.
Принцип работы кода
Для дообучения и генерации изображений использована нейросеть Stable Diffusion.
Для обучения были взяты 20 фотографий со съемок в разрешении 512×512 в качестве датасета, а также подключила их к блокноту.
Затем модель обучалась с инструментом LoRa
