Идея Проекта
Основой моего проекта стали мои воспоминания о поездке в Турцию, я решила не просто сохранить воспоминания в фотографиях, но и расширить их создав новые сгенерированные изображения.
Исходниками изображений стали как раз мои фотографии приведенные к единому размеру, однако в дальнейшем пришлось столкнуться с конвертацией файлов из-за нечитаемости.
Исходные изображения
Сгенерированные изображения
Модель смогла обучиться довольно хорошо. При уточнении текстовым промтом, генерация ловит основные черты изображений и передает их.
travelstyle, old market gate, Ottoman style, stone textures, blue sky, travel photography, high detail
Так как в исходных фотографиях большое количество различных предметов, модель не совсем качественно прогружает изображения. Стоило увеличить количество исходников, но к сожалению модель не могла прогрузить больше и вылетала.
travelstyle, busy market street in Istanbul, evening light, people walking close, old architecture, cinematic, realistic photo
Есть проблема в генерации людей, так как в источниках их почти нет, поэтому модель часто ошибается с ними.
travelstyle, colorful mosaic lamps in bazaar shop, turkish lanterns, warm glowing light, rich colors, detailed textures, realistic photography
В целом, генеративная модель достаточно удачно справилась с обучением, при правильном промте она спокойно генерирует похожие изображения, чем я довольна. Я могу еще раз окунуться в воспоминания о своей поездке)
Процесс работы генеративной модели
В процессе обучения в гугл коллаб я столкнулась с двумя проблемами: — конвертация формата HEIC в JPG — оптимизация кода для более легких вычислений, с применением метода LoRA на базе SDXL.
Весь процесс обучения проводился в Google Collab через ускоритель GPU.
Описание использование генеративной модели
Для компиляции различных версий и установки стабильной среды я пибегала к Gemini. Также модель помогала генерировать промты для финальных генераций.