Сказка и Укиё-Э

Иван Билибин нарисовал образ русской сказки, который мы помним с детства: жар-птица, Баба-Яга, богатыри, терема в узорных рамках. Мало кто знает, что Билибин интересовался японской гравюрой укиё-э. Его волну в иллюстрациях к «Сказке о царе Салтане» часто сравнивают с «Большой волной» Хокусая. Чёткий контур, плоский цвет, орнамент, у двух этих традиций много общего.

Я решила проверить, что получится, если свести их вместе: как выглядела бы жар-птица у Хокусая, изба Бабы-Яги у Хиросигэ и что будет ровно посередине.

Для каждого стиля я собрала по 30 реальных работ:

1. Японская гравюра: Хокусай, Хиросигэ и Куниёси из открытой коллекции Metropolitan Museum (лицензия CC0);
2. Билибин: иллюстрации к сказкам и былинам с Wikimedia Commons (работы в общественном достоянии).

Из 85 гравюр и 45 иллюстраций я отобрала лучшие. Не брала страницы с текстом, чёрно-белые рисунки, наброски и повторы. Все картинки обрезала до квадрата.

К каждой картинке я написала подпись. В ней есть специальное слово-токен (SKAZKA для Билибина, UKIYO для гравюр) и только то, что изображено: «серый волк в тёмном лесу под луной», «большая волна с лодками и горой». Слов про стиль в подписях нет, поэтому модель связывает весь стиль художника с токеном.

Я обучила две LoRA, небольшие «надстройки» к модели SDXL, по одной на каждый стиль. Обучение шло на видеокарте GTX 1080 Ti, около 45 минут на каждую LoRA. После этого две LoRA можно включать вместе и задавать каждой свою силу.

Один и тот же запрос «жар-птица» и одно и то же случайное зерно. Меняется только пропорция стилей.

Без обучения модель рисует обычную декоративную птицу, похожую на открытку. Чистый Билибин: густая чаща, киноварь и охра, жар-птица в узорной рамке. Чем больше японского стиля, тем больше появляются тёмно-синий фон, круглая композиция и фактура бумаги.

Русские сказки в японском стиле получились лучше всего: изба Бабы-Яги стала соломенной хижиной среди высоких деревьев в палитре Хиросигэ, богатырь на коне японской гравюрой с кремлёвскими куполами на горизонте.

В обратную сторону не сработало: самурай, Фудзи и гейша «в стиле Билибина» всё равно выходят японскими гравюрами. Модель так прочно связывает эти сюжеты с Японией, что LoRA на 30 картинках не может это перебить. Это самое интересное наблюдение проекта: стиль переносится легко, только если сюжет не «принадлежит» другому стилю.

Получились гибриды при равной силе обоих стилей. Укиё-э задаёт композицию, палитру, фактуру бумаги и красные картуши с «иероглифами». Билибин добавляет плотность узора и русские мотивы, которые модель сама вписывает в японскую сцену: зимний дворец с шатровыми башнями, церковь с золотыми куполами рядом с цветущей вишней. Японский стиль всё-таки сильнее: он определяет общий вид, а Билибин проявляется в деталях.

Что не получилось:
На запрос про волну модель почти копирует «Большую волну» Хокусая. Картина слишком знаменита и есть в датасете, поэтому модель её воспроизводит, а не смешивает стили.
Иероглифы и подписи на картинках ненастоящие: модель запомнила, как выглядит надпись, но писать не умеет.
У Билибина в датасете много похожих сюжетов (лес, воины на конях), поэтому лес и орнамент модель воспроизводит лучше всего.