Концепция проекта
Концепция проекта заключается в создании визуальных образов второстепенных персонажей «Мэри Поппинс» — тех, кто редко удостаивается самостоятельных иллюстраций. В качестве источника стиля стал мой личный архив рисунков в наивной детской манере: скетчи, наброски, работы из художественной практики. Обученная на этих изображениях нейросеть помогла распространить авторскую стилистику на героев, сформировав единую серию.
Главная цель проекта — обучить нейросеть в моём авторском стиле (evs_style) и создать визуальные образы второстепенных персонажей произведения «Мэри Поппинс» Памелы Трэверс.
Подборка изображений из датасета
Процесс работы
При создании промтов я обратилась к нейросети Ministral Ai [1] с запросом: «Ты специалист по нейросетям с 10-летним стажем. Напиши 25 промтов на английском для генерации изображений на основе моих рисунков (графика, живопись, скетчи) — визуальных образов второстепенных персонажей из произведения „Мэри Поппинс“ Памелы Трэверс. Учти условия финального проекта для результирующей серии изображений».
Полученные промты содержали апострофы и не включали указание на мой авторский стиль (evs_style), а также имели недочёты в оформлении. Я внесла правки вручную и получила финальные варианты для генерации. Каждый из 25 промтов я использовала отдельно, задав по 10 генераций на каждый — это позволило увеличить разнообразие и снизить вероятность неудачных результатов.
Процесс обучения
Сначала я установила и подключила все необходимые библиотеки, затем подготовила окружение для обучения и генерации изображений.
Следующим этапом подготовила данные для работы. Я собрала датасет из 25 собственных рисунков и иллюстраций, объединила их в папку и загрузила в проект на Google Colab, чтобы нейросеть во время обучения видела все изображения.
В качестве основы была взята модель Stable Diffusion 1.5. Обучение проходило не через полную донастройку модели, а с использованием метода DreamBooth LoRA. Это позволило адаптировать модель под мой авторский стиль (evs_style) на основе собранного датасета.
промты для генераций собраны в единый файл в конце проекта
Зафиксированные маркеры стиля я задала через узнаваемый триггер. Уникальный идентификатор стиля evs_style позволил вызывать именно мою авторскую манеру во всех промптах.
Обучение было запущено на разрешении 512 пикселей на 800 шагов. В процессе модель скачала веса Stable Diffusion 1.5, после чего выполнила обучение и сохранила результат в папку evs_style_mary_poppins_LoRA_v1_5.
После завершения обучения я подключила LoRA к модели и сгенерировала серию изображений по 25 промтам — по одному на каждого персонажа. Для каждого промта было выполнено по 10 генераций. Промты отличаются содержанием, так как описывают разных героев, но сохраняют единый стиль и приближение к моей авторской манере (evs_style).
Все сгенерированные иллюстрации сохранила в отдельную папку mary_poppins_generated, после чего собрала все в архив.
Финальные генерации
Заключение по проекту
Полученный результат меня полностью устроил, всё сложилось так, как я задумывала. Готовая LoRA-модель позволила сохранить особенности моего авторского стиля и применять его при создании иллюстраций к второстепенным героям «Мэри Поппинс». Моей задачей было сделать персонажей узнаваемыми, объединив присущую мне наивную детскую манеру (evs_style) с отдельными отсылками к живописным и графическим приёмам
Ссылки на инструменты
Stable Diffusion — обучение генеративной нейросети под свой стиль Ministral AI — создание и классификация промтов. Hugging Face — получение уникального токена для обучения нейросети, загрузка полученной модели в Google Collab. Google Collab — написание и запуск всего кода.
