Описание идеи
Сказки о рыцарях, принцессах и драконах чаще всего воспринимаются как что-то окутанное загадками, волшебством, вуалью тумана и таинственности. Так и искусственный интеллект может создавать изображения, в которых объекты смешиваются между собой, выдавая такой же мистический результат. Таким образом, с помощью искусственного интеллекта в проекте сливаются темы рыцарского замка и тумана.
Исходные изображения для обучения
Все изображения для обучения модели взяты с сайта Wikimedia и имеют тип лицензии: «No restrictions» («Без ограничений»)
Для обучения я выбрала фотографии замков и крепостей разных времён, но стилистически подходящие под тематику фэнтезийного средневековья и фотографии тумана в разных пейзажах.
Итоговая серия изображений
Итоговая серия представляет собой подборку изображений, где одинокий замок, скрытый за туманом, становится одновременно и фоном, и главным действующим героем. Что скрывает он за своими стенами? Какие истории хранит? Тишина. Только слышно крики птиц, кружащих над его башнями да легкий топот, забредающих на луг, оленей. Осмелится ли случайный путник узнать тайны старого замка?
Примеры промптов:
«a stone citadel at the green seashore» «a stone castle at the seashore with birds at the sky» «a mystical castle in the middle of a green meadow» «a castle in mountains» «a castle in the green forest»
Удалось передать особенности строения замка: узнаваемые крупные формы, башни, в некоторых генерациях даже добавлялся флаг. Хорошо переданы текстуры крепости, окошки.
Результаты действительно получились соответствующими изначальной задумке: я хотела объединить замки и природу тумана в единое целое, сделать так, чтобы строение терялось в дымке. Изображения также сохранили некую обработку из исходников, передав нужное настроение атмосферу через определенную цветовую палитру, легкую размытость и «шероховатость». Также нейросеть хорошо передала многослойность и этажность замков, при этом сохраняя формы правильными и не путая лес и горы с башнями.
В некоторых вариациях нейросеть выводила замок на первый план, в других же прятала его в тумане, но при этом сохранялась общая атмосфера меланхоличности, загадки и таинственности.
Первоначально, в некоторых результатах нейросеть повторяла фотографии из датасета, но с каждым запросом таких изображений становилось меньше и меньше. На один и тот же промпт в большинстве случаев нейросеть выдавала разные изображения, в основном, не повторяя прошлый результат.
Описание процесса обучения
Был собран датасет из 35 изображений формата 1:1 и с разрешением 512×512: 20 фотографий различных замков и 15 фотографий тумана. Для обучения использовалась базовая модель Stable Diffusion XL (SDXL) с методом адаптации DreamBooth и LoRA.
Максимальное количество шагов 500 с чекпоинтами каждые 250 шагов.
При таких данных процесс обучения занял 48 минут.
Ссылка на код
Код выполнен в Google Notebook
