идея проекта
В конце 1970-х моему дедушке дали путёвку от завода, и он отправился в двухнедельное путешествие по Кубе. У меня не было возможности обсудить с ним эту, вероятно, самую яркую поездку в его жизни. От нее мне остались лишь 178 плёночных фотографий, по которым я могу судить о том, что окружало дедушку и что показалось ему интересным.
Для меня его кадры, как и вся история поездки, рассказанная бабушкой, до сих пор кажутся нереальными, почти сказочными.
Поэтому я решил проверить, смогу ли продолжить эту историю и визуализировать возможные ответы на вопрос: что ещё дедушка мог там увидеть — и тем самым создать ещё более сказочное визуальное повествование.
примеры исходных изображений
Дотаяет состоял из 178 фотографий, которые были заранее обрезаны и конвертированы в jpeg квадратного формата
обучение модели
Для проекта я использовал предоставленный в задании код, адаптировав его под свои задачи. В частности, реализовал загрузку датасета напрямую с Google Диска, а также настроил автоматическое сохранение сгенерированных изображений туда же.
Модель обучалась с использованием методов DreamBooth и LoRA на базе Stable Diffusion XL. Для каждого изображения автоматически генерировался кэпшен с токеном TOK — маркером стиля, который модель научилась связывать с определённой эстетикой. Обучение заняло около 600 шагов.
итоговые изображения
film photo in TOK style, Cuba, hotel room interior, lamp, bed, window, 1978, grainy
film photo in TOK style, Cuba, Havana street, old colonial buildings, empty, 1978; film photo in TOK style, Cuba, old american car parked on street, Havana, no people, 1978
film photo in TOK style, Cuba, view from hotel balcony, Havana rooftops, palm trees, 1978
film photo in TOK style, Cuba, sea, fisherman, early morning; film photo in TOK style, Cuba, Varadero empty beach at dawn, white sand, calm sea, 1978
film photo in TOK style, Cuba, sea, fishing boats, empty dock, sunrise
film photo in TOK style, Cuba, large amaryllis flowers blooming on the street, tropical garden, 1978
film photo in TOK style, Cuba, dense tropical plants, palm leaves, close up, botanical garden; film photo in TOK style, Cuba, pineapples and tropical fruits at market stall, close up, no people
film photo in TOK style, Cuba, parrot on a branch, tropical, close up, 1978
film photo in TOK style, Cuba, portrait of an old man, outdoor
film photo in TOK style, Cuba, stray cat sitting on Havana embankment, old american cars in the background, 1978, close up
В итоге нейросеть научилась достаточно точно воспроизводить текстуру, зернистость и даже потёртости плёнки. Однако всё ещё встречаются неточности при генерации объектов на фоне — таких как дома, автомобили и скопления людей. Я считаю результаты обучения скорее успешными, поскольку модели удалось сохранить атмосферу оригинальных фотографий, а замылённость и отдельные неточности даже придали всей истории дополнительную загадочность и сказочность.
