Концепция
Утагава Хиросигэ (1797–1858) — японский художник и мастер цветной ксилографии эпохи Эдо. Он считается одним из главных пейзажистов школы ukiyo-e.
В его творчестве достаточно много работ посвящено конкретно природным пейзажам. Я же планирую сделать в стиле художника то, как могли бы выглядеть преимущественно городские виды.
Примеры работ из исходного архива
Обучение модели
Ссылка на архив и кодДля обучения модели брался исходный блокнот с кодом из курса. Рабочая среда — Google Colab.Сначала производилась проверка сетапа, подключение к среде выполнения GPU T4 и загрузка всех требуемых к обработке моделей:
—! pip install bitsandbytes transformers accelerate peft -q
—! pip install git+https://github.com/huggingface/diffusers.git -q.После подгружается сама модель:
—! wget https://raw.githubusercontent.com/huggingface/diffusers/main/examples/dreambooth/train_dreambooth_lora_sdxl.py
Следующий шаг связан с обработкой исходных изображений. Через local_dir я создаю связку между рабочей средой и диском с изображением и задаю первичные настройки модели (промт через instance_prompt, разрешение через resolution и так далее).
Предпоследний этап — работа с моделью, где я настраиваю параметры ее обучения:
— разрешение
— куда сохраняется модель на моем диске
— ключевой промт
и так далее.
После обучения модели она сохранилась на диск, я выгружаю ее в рабочую среду и приступаю к генерациям.
Серия генераций
Тестовая генерация. Snowy Edo street, in hiro style
Japanese city bridge crowded with pedestrians, in hiro style
Japanese city bridge crowded with pedestrians, in hiro style
Japanese city street during heavy rain, in hiro style
Busy harbor district with boats and merchants, in hiro style
Japanese theater district at night, in hiro style
Japanese street parade passing through the city, in hiro style
Night market in an old Japanese city, in hiro style
Night market in an old Japanese city, in hiro style
Night market in an old Japanese city, in hiro style
Large Edo fish market beside the waterfront, in hiro style
Edo theater entrance surrounded by spectators, in hiro style
Temple grounds filled with festival stalls, in hiro style
Temple grounds filled with festival stalls, in hiro style
Fireworks above a crowded Edo waterfront, in hiro style
