ОПИСАНИЕ ПРОЕКТА
Моей целью являлось обучить модель на базе Stable Diffusion XL с DreamBooth и LoRA с помощью Colab Notebook. Для этого я взяла датасет с работами Василия Кандинского из свободного доступа на сайте Kaggle.com и создала собственную концепцию для генерации итоговой серии изображений.
Основной концепцией проекта стала тема весны и зарождения новой жизни — спустя несколько месяцев постоянного снегопада и холодов мне захотелось максимально приблизить тот момент, когда солнце снова станет ярким и теплым, что я и попыталась отразить в своей работе.
Оригинальные изображения В. В. Кандинского, взятые из датасета
Оригинальные изображения В. В. Кандинского, взятые из датасета
Оригинальные изображения В. В. Кандинского, взятые из датасета
Оригинальные изображения В. В. Кандинского, взятые из датасета
Изначально я хотела взять от стиля кандинского его цветовую палитру и абстракционизм, для того чтобы мои изображения весны получились очень яркими и насыщенными, а какие-то мелкие «странные» детали добавили им красочности и выразительности.
В создании своих промптов я придерживалась этой идеи, четко прописывая нужные мне характеристики.
Для каждой из серии сгенерированных картинок были разработаны следующие базовые идеи:
- Весна, как радость — яркое и динамичное изображение, требуется передать счастье от прихода нового сезона.
- Весна, как вдохновение — мягкое изображение в пастельных оттенках, требуется передать умиротворение и желание творить.
- Весна, как мотивация — контрастная картинка с множеством цветов, требуется передать желание жить и развиваться.
- Весна, как обновление — преобладание голубых и зеленых цветов, требуется передать зарождение чего-то нового.
ПРОЦЕСС И РЕЗУЛЬТАТЫ
Работа строилась на следующих этапах:
- Загружаем нужные библиотеки и готовим код
- Импортируем датасет, я взяла небольшой (на 37 квадратных изображений В. В. Кандинского)
- Обучаем модель, я использовала 500 шагов и 250 чекпоинт шагов.
Промпты для первого набора: 1. «A cheerful and childish image of spring in the style of Kandinsky, a landscape of a river and a tree» 2. «A depiction of spring in the style of Kandinsky, bright and dynamic, yellow and white shades, joy»
Промпты для второго набора: 1. «Spring image, soft and flowing graphics, pink and blue colors, flowers and water drops» 2. «image of spring, soft and flowing graphics, pastel colors, a man sitting on a chair and looking at the garden»
Интересно, что в случае измененного промпта без упоминания фамилии художника, изображения получаются гораздо более разнообразными и походящими на его оригинальный стиль изображения.
Промпты для третьего набора: 1. «A depiction of spring, dynamic textured oil brushstrokes, and dogs running across a field» 2. «Dynamic textured abstract figures with a variety of colors, bright and contrasting images, black outlines on the figures»
Промпты для четвертого набора: 1. «Spring as the birth of life in the style of Kandinsky, soft blue and brown tones, beige background, black outlines of figures, girls weaving wreaths near the river» 2. «Spring as the birth of life in the style of Kandinsky, soft purple and yellow tones, black outlines of figures, a butterfly landing on a flower in a vase by an open window»
Здесь я захотела проверить, как он понял детали фона и нейтральных оттенков в рисунках Кандинского, поэтому запросила у него более мягкую и однотипную цветовую гамму, чтобы смешать его стиль абстракционизма, мазков кситью и тонкие линии.
В итоге я выяснила, что обученная мной нейросеть действительно справилась с задачей и удачно сгенерировала изображения, которые в целом даже похожи на оригинальные работы В. В. Кандинского, но ей все еще, что логично, не хватает творческого начала и видения художника, так как сгенерировать что-то категорически новое она не смогла.
