Марио — это мой домашний питомец, шотландский вислоухий рыжий кот.
Несмотря на то, что кошки этой породы обычно домоседы, Марио посетил 7 стран Европы на поезде. У него есть свой международный паспорт. Тем не менее, Марио пока что не бывал на своей Родине — Великобритании. Я решила компенсировать отсутствие такого опыта у моего любимого кота и отправила его в нейросетевое путешествие по Соединённому Королевству.
Марио
Все фотографии (25 штук), использованные для обучения, были сделаны лично мной. Я люблю фотографировать Марио и делаю это часто.
Результирующие изображения — Марио в Соединённом Королевстве
Марио в компании традиционно одетых в килты шотландских мужчин
prompt: «a photo of MARIO cat, standig in front of a line of scottish men dressed in scottish kilts»
Марио с Лондонской телефонной будкой / Марио играет на традиционном шотландском музыкальном инструменте — волынке
prompt: «a photo of MARIO cat, sitting in London Telephone booth»
prompt: «a photo of MARIO cat, playing Great Highland bagpipe»
Марио примеряет шотландскую клетку / Марио в костюме в стиле британского модельера Вивьен Вествуд
prompt: «a photo of MARIO cat, sitting in front of a line of scottish men dressed in scottish kilts»
prompt: «a photo of MARIO cat, dressed up in Vivienne Westwood clothes»
Марио на фоне Биг Бена
prompt: «a photo of MARIO cat, sitting in front of Big Ben with British flag»
Марио читает книгу на фоне Биг Бена
prompt: «a photo of MARIO cat, reading a book while sitting in cafe in front of BigBen»
Марио на фоне Британского флага / Марио пьёт английский чай
prompt: «a photo of MARIO cat, in front of British flag»
prompt: «a photo of MARIO cat, in british restaurant drinking tea»
Процесс работы
Проект был создан с использованием генеративной модели Stable Diffusion XL с DreamBooth и LoRA, которую я дообучала на датасете из личных фотографий моего кота Марио с целью создать уникальную модель, генерирующую изображения моего кота Марио в разных местах и ситуациях.
Мне очень понравилось, что модели удалось передавать отличительные черты Марио — он получился практически таким же, как в жизни, за исключением легких искажений. Модель даже передала его маленькие ушки, отличающиеся от ушей большинства котов.
Тем не менее, я столкнулась с проблемой того, что модель не точно передаёт некоторые запросы. Например, она не может правильно сгенерировать британский флаг, передавая лишь его цветовую палитру, но не узор.
Я осталась довольна результатом работы модели, так как у меня получилось устроить путешествие Марио в Великобританию: он оказался около Биг Бена, пил английский чай, играл на шотландской волынке, примерил на себя традиционную одежду и увидел знаменитые лондонские телефонные будки.
