Цель: на примере иллюстраций фантазийных растений дообучить нейросеть и создать новые рисунки на этой основе.
В ходе поиска материала на сайте Public Domain Image Archive я наткнулась на подборку иллюстраций художницы Сары Вейсс. Это ботанические рисунки растений, которые могли бы быть найдены на Марсе. Меня зацепила необычность объектов и стало любопытно, сможет ли нейросеть воспроизвести фантастические цветы.
Материал для обучения
Я выбрала 10 иллюстраций и подогнала их под квадратный формат. Подписи растений я решила убрать, чтобы в будущем с этим не было проблем при генерации, и они не отвлекали от основного объекта.
Sara Weiss. 1903. Journeys to the Planet Mars
Обучение и генерация
Далее, основываясь на коде из лекции, я создала блокнот с кодом для Stable Diffusion под мою цель. Загрузила материал, автоматическое описание определило состав моих изображений. В процессе случались ошибки: например, не загружались веса для LoRA, однако я решила эту проблему ручной подгрузкой нужного файла, и код сработал.
Затем попробовала тестовые генерации картинок.
Запрос: botanical illustration
В первом варианте модель не выдала желаемый результат. Она сделала ботаническую иллюстрацию, с имитацией традиционных материалов, на состаренной бумаге, что присуще исходным рисункам, но не черно-белую и с отличающейся композицией.
Запрос: botanical illustration muted colors
В следующий запрос я добавила приглушенные цвета. Это сработало хорошо, также поменялась композиция, это стало больше похоже на паттерн. Мне не понравилось качество изображения, оно стало нечётким.
Запрос: botanical illustration single plant
Запрос: botanical illustration single plant
Затем я сгенерировала изображения одного цветка, и эти варианты уже стали ближе к желаемому результату. Хоть первые картинки имели ещё и дополнительные части растения, третья имела пустой фон.
Запрос: botanical illustration single plant black and white chaarcoal
Запрос с уточнением палитры и материала позволил добиться нужного стиля, однако композиция всё ещё не была подходящей.
Результат
Запрос: botanical illustration single plant on a beige background graphite drawing multiple flowers on a single stem
Запрос: botanical illustration single plant on a beige background graphite drawing multiple petals
Уточнив запрос, я смогла добиться наиболее близких к оригиналу итоговых изображений. Они продолжают необычность оригинала, смешивая в себе разные виды цветов на одном стебле, или показывая необычные лепестки. Однако они всё же имеют в основе привычные нам растения, и чего-то нового нейросети не удалось создать. Гораздо приятнее смотреть на рисунки Сары Вейсс, где цветы имеют разнообразие форм и текстур.
