Концепция
Проект посвящён переносу ручной техники гравюры в цифровую среду. Ранее я создавала серию изображений методом ксилографии — вырезала деревянные бруски и вручную печатала отпечатки. Теперь я решила использовать искусственный интеллект, чтобы воспроизвести этот визуальный язык через обучение на собственных гравюрах.
(ИСХОДНЫЕ ИЗОБРАЖЕНИЯ) Для обучения я использовала фотографии своих печатных работ. Каждое изображение содержит особенности ручного процесса — неровности, шероховатости, следы краски. Эти признаки стали основой обучающего датасета.
Процесс
Когда я начала обучение по туториалу из курса, у меня постоянно появлялись ошибки. Как потом выяснилось, ноутбук, который нам дали, не обновлялся примерно два года. Он устанавливал более новые версии библиотек, которые были несовместимы с кодом — из-за этого обучение просто не запускалось.
После нескольких попыток я решила поискать более актуальный ноутбук. На GitHub я нашла рабочую версию — https://github.com/NSTiwari/Stable-DiffusionXL-using-DreamBooth-and-LoRA/blob/main/Fine_tune_SDXL_with_DreamBooth_and_LoRA.ipynb, где уже были обновлённые зависимости и поддержка Stable Diffusion XL. Эта версия корректно запускалась и позволила провести обучение без ошибок.
Для дообучения и генерации изображений использована Stable Diffusion XL, обученная с помощью метода DreamBooth и LoRA. Для обучения нейросети я взяла 10 фотографий моих гравюр, загрузила их в разрешении 512×512 как датасет и подключила его к блокноту для последующей генерации.
Я работала в среде Kaggle. Там я создала датасет из 10 своих изображений — это фотографии моих ручных гравюр в технике ксилографии. Датасет я подключила к Hugging Face, чтобы использовать его напрямую при обучении.
В коде я изменила пути к файлам и параметры под свой проект. Задача обучения была не в генерации конкретных объектов, а в передаче стиля — структуры дерева, текстуры отпечатка и характерных следов резца. После обучения модель начала выдавать изображения с похожей фактурой и контрастом, как в оригинальных гравюрах.
Результат
Вывод
Благодаря тому, что нейросеть обучалась на моих собственных гравюрах, новые изображения сохранили ощущение материала — неровности, фактуру, след резца.
Таким образом, с помощью обученной модели получился цифровой аналог ручной гравюры, где вместо дерева и краски — код, но принцип отпечатка остался тем же.
Ссылка на блокнот https://disk.360.yandex.ru/d/WTKKkcAaCoVknA