Обучение генеративной нейросети для рисования в стиле Ким Джанг Ги

В основе проекта — творчество Ким Джанг Ги, известного иллюстратора и карикатуриста. Его работы интересны тем, что создавались без предварительных набросков карандашом, при этом часто изобилуя деталями. Мне стало любопытно, как с этой стилистикой и таким уровнем детализации справится Stable Diffusion. Для обучения нейросети был собран датасет включающий в себя 46 работ Ким Джанг Ги.

Результаты генераций меня приятно удивили. Не смотря на небольшой датасет, многие стилистические особенности сохранились. Особенно хорошо удалось передать технику мастера — рисунок кистью и тоновые заливки. При этом, генерации получились и композиционно похожи на оригинальные скетчи Ким Джанг Ги. Сверхдетализованные фрагменты чередуются с более условными, повторяя композиционный ритм исходных изображений.

Но и не удалось избежать ожидаемых недочетов. Нейросеть путается в деталях, при ближайшем рассмотрении детализация зачастую оказывается кашей из тоновых пятен.

Для генераций использовались различные чекпоинты. В проекте представлены генерации на 4 из них. На 250 и 500, а также 500 и 0.4, 500 и 0.8.

Обучение нейросетевой модели для меня оказалось успешным. Получилось передать стилистические особенности авторского стиля Ким Джанг Ги. При этом рассматривать детали не менее интересно во многом из-за погрешностей генерации.