Концепция
Мне нравится живопись, а особенно работы импрессионистов. В данном проекте я исследую возможность обучения генеративной модели Stable Diffusion для создания изображений в заданном стиле. За основу я беру работы художника Огюста Ренуара: художник жил и работал в 19-20-х веках и создавал насыщенные, яркие полотна. Мне стало интересно, сможет ли генеративная модель сымитировать воздушную стилистику мазка художника и его основные мотивы, а также что нового она сможет внести в то, что уже имеется.
Целью работы было создать разнообразную визуальную серию, в которой сохранятся ключевые особенности художественного языка Ренуара. Я сгенерирую разные мотивы: портреты, зверей и пейзажи, и посмотрю, с чем именно модель справится лучше всего.
Подготовка датасета
На первом этапе был собран датасет из 30 работ Ренуара, обрезанных до квадратного формата. Работы были взяты с сайта Metmuseum.org, они распространяются по лицензии CC0.
Особый интерес для меня представляло то, насколько нейросеть сможет: • перенести стиль художника на новые сюжеты (портреты, пейзажи, сцены с людьми, животные); • сохранить живописную выразительность; • избежать прямого повторения исходных изображений.
В рамках проекта я использую Stable Diffusion XL, Google Colab и Hugging Face для обучения и генерации изображений.
Подготовка данных и среды
В Google Colab мной была подготовлена среда: • среда выполнения переведена в режим GPU; • установлены библиотеки: diffusers, transformers, accelerate, peft, bitsandbytes; • загружен скрипт обучения DreamBooth и LoRA. После этого изображения были загружены в Colab и проверены на корректность.
Для улучшения обучения модели была использована модель BLIP. Каждому изображению было сопоставлено текстовое описание, к которому добавлялась общая характеристика (painting in the style of RENOIR). Это позволило задать единый стиль всем изображениям и помочь выделить художественные особенности.
Для обучения использовались DreamBooth и LoRA. В качестве базовой модели была выбрана Stable Diffusion XL (SDXL). Выбранным разрешением стало 512px, а в целях экономии GPU количество шагов было снижено до 500. После завершения обучения модель была сохранена и загружена в Hugging Face.
После обучения LoRA была подключена к базовой модели Stable Diffusion XL, и тогда можно было начать генерацию изображений с помощью промптов. В рамках моего эксперимента над стилем художника были сгенерированы: • портреты людей • пейзажи • сцены с несколькими персонажами • изображения животных • стилизованные портреты знаменитостей.
Поначалу мне не нравились генерации, поэтому промпты были взяты длинные и детальные, чтобы модель максимально четко генерировала результат.
Результаты и наблюдения
В ходе эксперимента были выявлены как сильные стороны модели, так и ограничения. Модель успешно переняла ключевые черты стиля Ренуара: характер мазка, цвет, работу со светом и изображение пейзажей.
Однако модель делала повторяющиеся композиции, сюежты, похожие на исходные, или изображала то же количество людей, что и на картинах художника. Например, мне хотелось сгенерировать два человека, а модель продолжала делать три снова и снова, даже при прямом указании количества.
Портреты, на мой взгляд, передавали стилистику Ренуара в плане легкости мазка и использования воздушного цвета.
Промпт: painting in the style of RENOIR, impressionist oil painting on canvas, portrait of a young woman sitting on a chair by the sea, wearing a light dress, soft warm sunlight, gentle rosy skin tones, loose visible brushstrokes, soft edges, painterly texture, vibrant bright colors, shimmering light on water, not photorealistic
Промпт: painting in the style of RENOIR, impressionist portrait of a bearded man, wearing a gray suit from the 19th century, standing in front of bright summer greenery, warm natural light, soft facial features, visible brushstrokes, painterly texture, green and yellow tones blending softly, not photorealistic
Многофигурные композиции модель повторяла с оригиналов почти один в один: часто она делала очень похожие компоновки или обстановку. При просьбе изобразить женщин за пианино, модель сделала генерацию, схожую с подобной картиной художника.
Слева: painting in the style of RENOIR, impressionist oil painting, two young women playing piano together, antique 19th century interior, elegant dresses, warm soft indoor lighting, delicate faces with soft features, painterly texture, visible brushstrokes, rich warm tones, slightly blurred details, artistic composition, not photorealistic
Справа: painting in the style of RENOIR, impressionist interior scene, two young women in dresses reading a book together, cozy 19th century room, exactly two women, only two figures, no other people, two characters only, soft natural light from window, warm tones, intimate atmosphere, delicate faces, loose brushstrokes, painterly texture, soft edges
Слева: painting in the style of RENOIR, impressionist scene of a man and woman walking hand in hand into the shade of a park, dappled sunlight through trees, woman in a white flowing dress with elegant hairstyle and fabric decoration, man in a 19th century suit, soft light, warm tones, romantic atmosphere, painterly texture, loose brushstrokes
Справа: painting in the style of RENOIR, impressionist scene of two young girls sitting in the shade of a forest, wearing soft delicate dresses, collecting flowers into a basket, one girl wearing a floral wreath, soft sunlight filtering through leaves, warm green tones, peaceful summer landscape in the background, loose brushstrokes, painterly texture
Генерации пейзажей получились неплохие: они хорошо сымитировали стиль художника. На мой взгляд, модель особенно хорошо смогла передать живые мазки и солнечное освещение.
Промпт: impressionist city street of 19th century, filled with sunlight, people walking and socializing, lush green trees casting soft shadows, bright blue sky, dappled light through leaves, vibrant colors, lively atmosphere, soft edges, visible brushstrokes, painterly texture, dynamic composition
Слева: impressionist scene of two women in a small boat on azure water, surrounded by lush green trees, peaceful harbor, bright blue sky above, sunlight reflections on water, vibrant colors, soft brushstrokes, lively yet serene composition
Справа: renoir style impressionist painting, sunset over a river, glowing sky with warm orange and pink tones, reflections in water, soft brushstrokes, peaceful atmosphere
Генерации с животными можно также назвать удачными. Модель хорошо справляется с имитацией мазка, однако на примере со зверями прослеживается, что она не может придумывать оригинальные сюжеты.
Промпт: renoir style impressionist painting, two horses near a river, shimmering water reflections, loose brushstrokes, warm summer light, natural landscape, soft color blending
Слева: renoir style impressionist painting, a small dog sitting in a sunlit garden, soft brushstrokes, dappled sunlight through leaves, vibrant greens and warm tones, painterly texture, soft edges
Справа: renoir style impressionist painting, a cat resting on a windowsill, warm sunlight illuminating fur, soft blurred background, delicate brushwork, pastel tones, cozy atmosphere
Мне также захотелось сгенерировать портреты знаменитостей в стилистике художника. Слева Райан Гослинг, а справа Билли Айлиш. Мужчин модель генерирует хуже, чем женщин: возможно, это потому, что в исходной библиотеке мужских портретов было мало.
Слева: renoir style impressionist painting, portrait of Ryan Gosling sitting in a woven chair, soft facial features, light airy brushstrokes, warm skin tones, a summery greem background, classical composition, painterly texture
Справа: renoir style impressionist painting, portrait of Billie Eilish near the sea shore, soft facial features, light airy brushstrokes, warm skin tones, a summery background, an azure blue sky, classical composition, painterly texture
Заключение
Несмотря на то, что датасет был довольно маленький (30 работ), нейросеть смогла сгенерировать интересный результат. Мне кажется, она сумела передать часть живописной манеры художника и его особенности цветового восприятия. Использовав его мотивы, она создала яркие пейзажи и многофигурные композиции, напоминающие стилистику автора. Из-за ограниченности исходной библиотеки, некоторые сюжеты повторялись, а качество проработки лиц кое-где получалось низким. Исправление дефектов возможно при дообучении модели, уточнении промптов или добавлении большего числа работ в исходную библиотеку.