Серия иллюстраций, которая фиксирует не события, а состояния — моменты наблюдения, тишины и внутреннего напряжения. Приглушённая палитра и условное пространство создают ощущение памяти, сна или старой визуальной хроники.
За основу для обучения нейросети были взяты картины Анри де Тулуз-Лотрек с его уникальным стилем.
В итоговой серии ожидалось увидеть такую же легкость и непринужденность, которая есть в оригинальных картинах. Сочетание цветов, мазков и стилистики дали бы необходимые для концепции ощущение тишины и сна.
1. Этапы процесса обучения
Датасет (картинки) ↓ Авто-разметка через BLIP (caption_images) ↓ Добавление специального токена к каждому описанию ↓ Обучение LoRA-адаптера поверх SDXL ↓ Сохранение весов адаптера (~несколько МБ)
2. Разбор параметров тренировки
| Параметр | Значение | Смысл |
|---|---|---|
| mixed_precision=fp16 | float16 | Половинная точность → меньше VRAM |
| use_8bit_adam | — | Оптимизатор с квантизацией → экономия памяти |
| learning_rate=1e-4 | 0.0001 | Шаг обновления весов |
| max_train_steps=750 | — | Количество итераций обучения |
| train_batch_size=4 | — | Количество примеров за один шаг |
| gradient_accumulation_steps=1 | — | Накопление градиентов перед обновлением |
| snr_gamma=5.0 | — | Балансировка шума на разных timestep’ах диффузии |
| lr_scheduler=constant | — | Скорость обучения не меняется в процессе |
| checkpointing_steps=250 | — | Сохранение чекпоинта каждые 250 шагов |
3. Роль BLIP в пайплайне
BLIP — это мультимодальная модель, которая генерирует текстовые описания изображений (image captioning). Она нужна, чтобы автоматически разметить датасет:
картинка → BLIP → «a woman sitting at a table» + prefix → «painting in TOULOUSE-LAUTREC style, a woman sitting at a table»
Итоговое описание записывается в metadata.jsonl — стандартный формат для датасетов HuggingFace.
4. Итог
После обучения получается LoRA-адаптер — небольшой файл с весами, который можно подключить к SDXL и генерировать изображения в стиле Тулуз-Лотрека, просто упомянув токен в промпте.
В итоге получились изображения, соответствующие требованиям концепции и с хорошо узнаваемым стилем оригинального художника.
