Идея проекта
Я обучила нейросеть созданию случайных графических партитур. Их можно сыграть интуитивно, опираясь на внутреннее ощущения ритма и звука.
Здесь собрана серия квадратных изображений, генерированных нейросетью, на которых представлены графические партитуры.
Список использованных в проекте инструментов:— ChatGPT для генерации изображений
— Stable Diffusion — обучение генеративной нейросети под свой стиль
— Google Colab — выполнение кода и генераций
— Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт
Метод
Базовая модель: stabilityai/stable-diffusion-xl-base-1.0.
Метод: DreamBooth + LoRA, реализация Hugging Face Diffusers 0.35.2.
Обучение выполнено на Apple GPU / Metal через mps.
Разрешение обучения: 512 × 512.
LoRA rank: 8; learning rate: 0.0001.
Batch size: 1, накопление градиентов: 4.
Количество шагов оптимизатора: 150.
Обучались дополнительные веса адаптера; базовая модель была заморожена.
Проверка
Для сравнения использовались одинаковые запросы и seed при отключённой
и подключённой LoRA. Сохранены обе версии, чтобы результат дообучения
можно было оценить отдельно от влияния текстового запроса.
Итоговая серия содержит 12 изображений с подключённым адаптером.
Запросы, seed, сила LoRA и параметры генерации находятся в images.json.
Сходство стиля оценивалось визуально; количественная метрика качества
для этого небольшого датасета не заявляется.
Учебный пример: https://github.com/shwars/ai-for-creatives/tree/main/6-DiffusionTraining
Обучающий скрипт: https://github.com/huggingface/diffusers/blob/v0.35.2/examples/dreambooth/train_dreambooth_lora_sdxl.py
Фрагмент кода
Код проекта
Результаты
Итоговые изображения больше похожи на абстрактные картины, но даже их можно воспринимать как графические партитуры.
