Обучение нейросети в стиле «Kimetsu No Yaiba»

Этот лонгрид — результат обучение модели «Stable Diffusion» на скриншотах из аниме «Истребитель демонов».

Целью работы было создать пайплайн, который будет иметь схожесть с рисовкой «Истребителя демонов», в частности повторять лайн и цветовое сочетание.

Чтобы обучить SD я собрала скриншоты из аниме в лучшем разрешении, в котором получилось найти и сохранила их в папку на компьютере. Однако оказалось несколько проблем, которые мне предстояло решить.

Прежде всего, все фотографии были в разном разрешении и формате (jpg, png, webp, gif). Поэтому был написан код который проходится циклом по изображениям в папке, обрезает их и конвертирует в jpeg.

Также была проблема с отцентровкой композиции. Из-за автоматического обрезания изображений часто возникали случаи, когда фокус ухадил на задние планы, где не было чётко выраженных графических элементов. Поэтому я потратила время на то, чтобы вручную подобрать средние параметры для обрезки картинок.

В сгенерированных изображениях в большинстве случаев удалось отразить аутентичный для аниме лайн и цветовые пятна.

Тем не менее, очевидно, что модели предстоит пройти долгий путь в обучении, потому что зачастую реализм и стилизация конфликтуют между собой.

Как уже было сказано ранее, модели предстоит долгое обучение для оптимального резуальтата. Поэтому сейчас между изображениями прослеживается неочевидная связь по стилизации. Например, иногда цветовые пятна слишком растушеваны, а иногда контур недостаточно меняется, как в оригинальном источнике. Тем не менее картинки так или иначе передают стиль аниме.

На сгенерированных изображениях я стремилась передать атмосферу Японии периода Тайсё и её культурные элементы. Так, зачастую можно заметить самураев, йокаев, чайные ритуалы, горячие источники и так далее.