Обучение генеративной нейросети под стиль художницы whatoonee

обучение генеративной нейросети Stable Diffusion

цель проекта состоит в исследовании способности нейросети глубоко анализировать сложные визуальные элементы стиля художника и воссоздавать их в своих работах

я работала в Kaggle с моделью Fine-tuning Stable Diffusion XL и методами DreamBooth, LoRA, для обучения использовалось 26 квадратных картинок, разрешение — 512×512 px

датасет изображений изначально состоял из изображений разных разрешений, которые были в формате PNG. Для быстрого изменения разрешений и изменения формата с PNG на JPG я обратилась к нейросети Grok

Grok предоставил мне 2 скрипта: один в автоматическом режиме изменил формат изображений на JPG, а второй изменил разрешения изображений на 512×512, эти манипуляции с изображениями были выполнены с помощью python и встроенной в него библиотеки PIL, которая имеет обширный функционал для работы с изображениями

в процессе выполнения ячеек кода возникали непредвиденные ошибки, которые я также решала с помощью Grok, помимо этого я полагалась на HuggingFace (для генерации токена) и BLIP (для генерации подписей к изображениям)

обучение модели на собранном датасете в результате заняло около часа и состояло из 1000 обучающих шагов, изначально я взяла датасет изображений в разрешении 1024×1024, но время генерации меня не устроило, поэтому пришлось изменить разрешение исходных файлов с целью сократить время генерации

промты

— a painting in WHATOONEE style, blonde in a tight fuchsia dress taking selfies in front of a dumpster — a painting in WHATOONEE style, nurse with a syringe —a painting in WHATOONEE style, a fat man without a T-shirt stands on the balcony —a painting in WHATOONEE style, granny with a bat in her hand

промты

— a painting in WHATOONEE style, a black man is leashing a bull terrier wearing a spiked collar — a painting in WHATOONEE style, A Japanese man in a retro electronics store sits in headphones and eats noodles with chopsticks

промты

— a painting in WHATOONEE style, grandma’s in the kitchen putting poison in the pie — a painting in WHATOONEE style, a girl in a short skirt and T-shirt with long-heeled shoes is sitting at a bus stop and it’s snowing around her — a painting in WHATOONEE style, a painting in WHATOONEE style, a girl in a leopard-print floor-length dress stands on a nightclub stage and sings jazz —a painting in WHATOONEE style, jock at the gym pumps his arm with a kettlebell that says 40 kilograms

промты

— a painting in WHATOONEE style, three gnomes in colored caps in the garden at night eating pizza — a painting in WHATOONEE style, a knight in armor sits on a beach chair drinking a cocktail

промты

— a painting in WHATOONEE style, a girl in an office jacket, white shirt and gray skirt standing on a cliff with one knee and both hands holding a knight’s sword — a painting in WHATOONEE style, death with a scythe — a painting in WHATOONEE style, the princess is sitting in the castle tower getting her makeup done —a painting in WHATOONEE style, a mermaid on the ocean sits on a rock and talks on a cot phone

промты

— a painting in WHATOONEE style, a vampire in a restaurant eating garlic — a painting in WHATOONEE style, Bigfoot snowboarding down the mountain — a painting in WHATOONEE style, spider-man with six arms crawls up the wall of a skyscraper — a painting in WHATOONEE style, ghost rider on a motorcycle

промты

— a painting in WHATOONEE style, Shrek is standing in the middle of the road in New York — a painting in WHATOONEE style, batman and joker are standing with their backs to us, they’re on the top floor of a skyscraper, holding each other’s hand and looking out the window, and outside the window are fireworks like in the movie «fight club»

промты

— a painting in WHATOONEE style, a capybara takes a shower — a painting in WHATOONEE style, a goat standing in a field wearing sunglasses and a gold chain with the letters swag around its neck

промты

— a painting in WHATOONEE style, crocodile sits in the doctor’s chair in the dentist’s office with his mouth open and the dentist is treating his teeth

промты

— a painting in WHATOONEE style, a robber in a balaclava strokes a kitten — a painting in WHATOONEE style, a hot dog with a dachshund instead of a wiener — a painting in WHATOONEE style, the hacker sits with his back to us, 10 monitors in front of him watching the digital kittens — a painting in WHATOONEE style, a cowboy in cowboy boots with spurs at a gas station drinking coffee while his horse gets gasoline

промты

— a painting in WHATOONEE style, Kanye West — a painting in WHATOONEE style, robert pattinson — a painting in WHATOONEE style, hannah montana — a painting in WHATOONEE style, Lenin

промты

— aa painting in WHATOONEE style, quentin tarantino looks in the trunk of a car — a painting in WHATOONEE style, steve jobs admires samsung