В русской классике одежда часто работает как сюжет. Целая повесть Гоголя посвящена одной шинели: на неё копят, её шьют, надевают один вечер и теряют. Халат Обломова становится почти отдельным героем романа. Раскольников понимает, что его может выдать шляпа. Чеховский Беликов прячется от мира в калоши и чехлы. Вещь в этих текстах говорит о владельце больше, чем портрет
Сегодня у вещей есть ещё один способ рассказать о хозяине: объявление о продаже. Снимок на вешалке, зацепленной за дверь, или на покрывале; цена; пара строк о состоянии: «носил один владелец», «надевал один раз», «торг уместен». По фону, свету и формулировкам легко представить и квартиру, и человека, который продаёт
Технически проект устроен так: из открытого датасета домашних фотографий одежды отобраны 142 кадра, на них обучена LoRA для Stable Diffusion 1.5 с триггером nsl photo, затем по промптам, составленным из деталей книг, сгенерированы двенадцать снимков. Карточки объявлений свёрстаны скриптом. Дальше всё по порядку, разделами, как на странице товара: объявления, фото покупателей, характеристики, отзывы и вопросы продавцу
Проект соединяет два жанра. Героев читатель знает по книгам, а их вещи показаны так, как их выставили бы на продажу сегодня: в домашнем свете, на полу прихожей, с честным описанием дефектов. Тексты объявлений собраны из деталей самих произведений: воротник шинели «издали можно было всегда принять за куницу», халат Обломова «без кистей, без бархата, без талии», шляпа Раскольникова слишком приметна, а тулупчик из «Капитанской дочки» Савельич оценил в пятнадцать рублей
Двенадцать карточек в трёх разделах доски. Фотографии сгенерированы, тексты объявлений написаны по деталям из книг, карточки свёрстаны скриптом tools/make_cards.py. Под каждой карточкой источник, из которого взята вещь
Объявления
Двенадцать карточек в трёх разделах доски. Фотографии сгенерированы, тексты объявлений написаны по деталям из книг, карточки свёрстаны скриптом tools/make_cards.py. Под каждой карточкой источник, из которого взята вещь
Верхняя одежда
Н. В. Гоголь, «Шинель», 1842:* «…вместо её выбрали кошку, лучшую, какая только нашлась в лавке, кошку, которую издали можно было всегда принять за куницу.»
А. С. Пушкин, «Капитанская дочка», 1836.
И. А. Крылов, «Тришкин кафтан», 1815:* «У Тришки на локтях кафтан продрался.»
М. А. Булгаков, «Мастер и Маргарита», 1929-1940:* «В белом плаще с кровавым подбоем, шаркающей кавалерийской походкой…»
Костюмы и платья
Н. В. Гоголь, «Мёртвые души», 1842.
И. А. Гончаров, «Обломов», 1859:* «…без кистей, без бархата, без талии, весьма поместительный, так что и Обломов мог дважды завернуться в него.»
Л. Н. Толстой, «Война и мир», 1867-1869:* «…в белых дымковых платьях на розовых шелковых чехлах, с розанами в корсаже.»
Х. К. Андерсен, «Новое платье короля», 1837.
Обувь и шляпы
Ф. М. Достоевский, «Преступление и наказание», 1866:* «…высокая круглая циммермановская шляпа, но вся уже изношенная, совсем рыжая, вся в дырах и пятнах, без полей и самым безобразнейшим углом заломившаяся на сторону.»
А. П. Чехов, «Человек в футляре», 1898:* «…всегда, даже в очень хорошую погоду, выходил в калошах и с зонтиком и непременно в теплом пальто на вате.»
Ш. Перро, «Золушка, или Хрустальная туфелька», 1697.
Ш. Перро, «Мальчик-с-пальчик», 1697.
Фото покупателей. Откуда датасет
Модель училась на открытом датасете Clothing dataset, который в 2020 году собрал Алексей Григорьев: 5403 фотографии одежды в двадцати категориях. Около трёх тысяч снимков собрано вместе с сервисом Tagias.com, остальные прислали 32 человека через открытую форму. Каждый снял свои вещи у себя дома: на кровати, на полу, на вешалке, зацепленной за дверь. Датасет передан в общественное достояние по лицензии CC0 1.0 и разрешён для любого использования, включая обучение моделей: https://www.kaggle.com/datasets/agrigorev/clothing-dataset-full
24 кадра из обучающей выборки
Для проекта это идеальный материал: не каталог и не модные съёмки, а именно то, как люди фотографируют вещи, которые собираются продать или отдать. Разный свет, разные телефоны, ковры, покрывала, плитка в прихожей, паркет
Фильтр жанра
Три категории («Not sure», «Other», «Skip») исключены сразу. Остальные 5096 фотографий оценила модель CLIP ViT-L/14 (OpenAI): она сравнивала каждый снимок с десятью описаниями. Четыре описания нужного жанра («любительское фото вещи на полу», «на кровати», «на вешалке на двери», «подержанная вещь на продажу дома») и шесть ненужного («человек в одежде», «студийная съёмка на белом фоне», «тёмный размытый кадр», «крупный план ткани», «куча вещей», «манекен»). Доля четырёх «правильных» описаний и есть оценка жанра
Почти весь датасет и так домашний: порог 0,6 не прошли только 167 снимков, в основном студийная съёмка обуви и вещи в руках. Ещё 57 кадров оказались слишком маленькими (сторона меньше 600 пикселей), а в каждой категории отброшены 20% самых нерезких. Осталось 3890 фотографий
