Концепция
Обучить искусственный интеллект на основе стоковых бесплатных картинок замков и кораллов и создать гибрид этих изображений: подводный замок в кораллах, замок из кораллов и т. д.
Исходные изображения
Стоковые бесплатные изображения с сайта unsplash.com
Результат
Промпты подписаны под картинками
underwater castle on pink corals
underwater castle located on coral branches
underwater castle hanging on a coral
castle surrounded with corals, beach
colorful underwater castle
underwater castle, red coral
underwater castle, red coral ingrowth
underwater castle, yellow coral ingrowth
Анализ
Получившиеся изображения полностью удовлетворяют запрос. Гибрид соответвует ожиданиям. Увидев первые три картинки, я немного разочаровался малому разнообразию цветов кораллов. Все остальное меня устроило. И структура замка и реалистичность текстуры. Затем, я решил уточнить свое желание с помощью промпта «colorful underwater castle». Результат меня полностью удовлетворил. Но я решил проверить на что способен искусственный интеллект. Сначала я уточнил цвет, которым хочу наполнить изображение («underwater castle, red coral»). Результат удовлетворительный. Заходя еще дальше, я использовал промпт «underwater castle, red/yellow coral ingrowth», и, к моему удивлению, был удовлетворен».
Техническая реализация
Процесс обучения Архитектура и параметры: — Базовая модель: Stable Diffusion XL 1.0 — Метод адаптации: Dreambooth с LoRA — Размер датасета: 19 изображения — Количество шагов: 25 — Разрешение: 512×512 пикселей
Генеративные модели
Stable Diffusion XL 1.0 — Ссылка: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0 — Цель: базовая архитектура для генерации изображений
BLIP (Bootstrapping Language-Image Pre-training)
— Ссылка: https://huggingface.co/Salesforce/blip-image-captioning-base — Цель: автоматическая аннотация обучающих изображений
Dreambooth \+ LoRA методик
— Цель: персонализация базовой модели под особый стиль
