Эволюция цифровой симуляции ткани

Рубрикатор

1. Концепция исследования
2. Глава 1. «Бэтмен возвращается» (1992): эпоха до цифровой симуляции
3. Глава 2. «Звёздные войны. Эпизод I: Скрытая угроза» (1999): рождение компьютерной симуляции ткани
4. Глава 3. «Пираты Карибского моря» (2003): масштабирование технологии и художественный контроль
5. Глава 4. «Синий жук» (2023): нейросетевая система ML Cloth
6. Заключение: сравнительный анализ четырёх этапов
7. Список литературы
8. Список источников изображений

Данное визуальное исследование посвящено эволюции технологий создания цифровой одежды и симуляции драпировки ткани в кинематографе. Выбор темы обусловлен тем, что движение костюма является важнейшим элементом визуального повествования, однако в истории VFX именно симуляция ткани долгое время оставалась одной из самых ресурсоёмких и технически сложных задач. В отличие от кожи, металла или резины, ткань обладает сложной физикой: она растягивается, собирается в складки, по-разному реагирует на ветер, гравитацию и движение персонажа.

Актуальность темы усиливается тем, что в 2023 году студия Digital Domain впервые применила нейросетевую систему ML Cloth для симуляции костюма в полнометражном фильме «Синий жук», что знаменует собой переход от традиционных физически корректных симуляций к системам, использующим машинное обучение. Это позволяет говорить о смене технологической парадигмы.

Для исследования отобраны четыре ключевых этапа в развитии технологий работы с тканью в кино.

1. «Бэтмен возвращается» 1992 года, который демонстрирует эпоху, когда цифровой симуляции ткани ещё не существовало, и все задачи решались физическими методами.

2. «Звёздные войны. Эпизод I: Скрытая угроза» 1999 года, который стал точкой отсчёта для компьютерной симуляции ткани: первое применение физически динамичной ткани для цифровых персонажей в игровом кино.

3. «Пираты Карибского моря: Проклятие Чёрной жемчужины» 2003 года, где технология была масштабирована для многослойной одежды на CGI-скелетах, а над симуляцией работала отдельная команда из 23 человек.

4. «Синий жук» 2023 года, где впервые в полнометражном кино применили нейросетевую симуляцию ткани ML Cloth.

Прежде чем перейти к анализу фильмов, необходимо обозначить общий контекст развития симуляции ткани в компьютерной графике, поскольку технология развивалась параллельно в мультипликации и игровом кино.

В 1986 году Джерри Вейл создал первую геометрическую модель ткани, но она была статической и не учитывала физику движения.

В 1997 году Pixar выпустила короткометражку «Geri’s Game» — первый случай использования физически динамичной ткани в компьютерной графике. Пиджак героя реагировал на движение, гравитацию и ветер. Майкл Касс разработал систему, учитывающую жёсткость и растяжение материала.

В 1998 году исследователи Дэвид Барафф и Эндрю Виткин опубликовали на конференции SIGGRAPH статью «Large Steps in Cloth Simulation», которая ввела метод неявной интеграции. Это решение позволило компьютерам стабильно рассчитывать сложные движения ткани без сбоев системы и заложило фундамент для всей индустрии.

В 2001 году студия Pixar выпустила полнометражный фильм «Корпорация монстров», где алгоритм Бараффа и Виткина был впервые применён в полном объёме: симулировалась одежда персонажей и знаменитая футболка Бу.

Эволюция технологий симуляции ткани в кино прошла путь от физического ограничения материала через первые компьютерные симуляции в конце 1990-х к физически корректным, но ресурсоёмким системам 2000-х и к нейросетевым системам, предсказывающим деформации в реальном времени. Ключевым драйвером этой эволюции является необходимость обеспечить художественный контроль, то есть способность заставить ткань двигаться так, как требуется режиссёру и аниматорам, даже если это противоречит законам физики.

Фильм «Бэтмен возвращается» демонстрирует исходную точку эволюции. Время, когда цифровой симуляции ткани ещё не существовало. Все эффекты с тканью создавались практическими методами: механическими приспособлениями, специальными материалами и трудоёмкой работой костюмеров. Понимание этих ограничений необходимо, чтобы оценить масштаб технологического прорыва последующих десятилетий.

Обратите внимание на плащ Бэтмена. При резких поворотах корпуса плащ движется с задержкой, создавая характерную «тяжелую» драпировку. Это физическое свойство материала: плащ был изготовлен из толстой резины, и каждый его взмах требует механического усилия. Визуально ткань выглядит неестественно жёсткой по сравнению с лёгкой драпировкой, которую зритель ожидает от ткани.

Костюм Бэтмена для фильма «Бэтмен возвращается» был изготовлен из вспененной резины (foam-rubber). Он был из более тонкого и гибкого материала, чем в первом фильме. Всего было изготовлено 48 костюмов. Под нагрудной пластиной была установлена механическая система болтов и шипов для фиксации капюшона и плаща. Из-за веса плаща при резком повороте актёра плащ оставался бы на месте, а механическая система принудительно тащила его за актёром.

Для этого кадра был изготовлен функциональный складной глайдер в натуральную величину с тканевым покрытием. Дублёр Дэйв Ли находился в костюме, в то время как складной тканевый каркас управлялся вручную. Всего для сцены использовалось три разных пропса: складной тканевый глайдер (для кадра раскрытия), отдельный пропс для крупного плана и полностью жёсткий плащ для прыжка. Это было чисто механическое решение. Ткань принимала форму за счёт пружинного каркаса, а не цифровой симуляции.

В фильме кадр, где плащ Бэтмена трансформируется в подобие крыла. Эта сцена снята с использованием миниатюры, а не костюма, который носил актёр. Сам факт, что создателям пришлось прибегнуть к миниатюре для данного кадра, демонстрирует технологические ограничения 1992 года: ни костюм, ни ранние CGI тогда не могли симулировать поведение ткани в полёте.

Костюм Catwoman был выполнен из латекса, который не требует симуляции ткани, так как является облегающим и не создаёт складок. Сравнение с плащом Бэтмена демонстрирует ключевое различие: проблема ткани возникает только тогда, когда одежда должна драпироваться, собираться в складки и реагировать на движение независимо от тела персонажа.

На этапе «Бэтмена возвращается» (1992) индустрия не имела инструментов для цифровой симуляции ткани. Проблема решалась на физическом уровне: костюмы изготавливались из материалов с определёнными свойствами и оснащались механическими приспособлениями. Это было ограничение физики, а не её симуляция. Но по моему мнению именно этот фильм чётко обозначил проблему, которую последующие десятилетия решали компьютерные технологии.

Фильм «Звёздные войны. Эпизод I: Скрытая угроза» фиксирует момент перехода от практических методов к цифровым. Это первый игровой фильм, где компьютерная симуляция ткани была применена для CGI-персонажей. Анализ этого фильма позволяет увидеть, как выглядела симуляция ткани на заре своего появления, без многолетнего опыта, отраслевых стандартов и вычислительных мощностей, которые появятся позже.

Джа-Джа Бинкс был одним из первых полностью цифровых персонажей в игровом кино, чья одежда требовала динамической симуляции. Одежда реагирует на движения персонажа, создавая базовую драпировку. Для 1999 года это был технологический прорыв.

Одежда Джа-Джа (традиционная гунганская туника и пончо) динамически реагирует на движения тела. Ткань собирается в складки при сгибании корпуса, развевается при резких движениях и не «прилипает» к телу. Это результат работы физического движка, разработанного ILM для симуляции ткани.

Для создания Джа-Джа Бинкса ILM провела тест: сравнили вариант с актёром в практическом костюме с накладками и цифровой головой против полностью цифрового персонажа. Полностью CGI-версия оказалась эффективнее, так как позволяла сохранить непропорциональную анатомию гунгана и давала аниматорам больше свободы. Движения Ахмеда Беста записывались с помощью захвата движения и переносились на цифровую модель, поверх которой затем симулировалась одежда.

Для переноса движений актёра на цифровую модель использовалась технология оптического захвата движения. На специальный костюм Ахмеда Беста наносились реперные точки. Их движения отслеживались камерами и преобразовывались в анимацию скелета цифрового персонажа. Затем поверх этого скелета симулировалась одежда с учётом физических свойств ткани.

«Звёздные войны. Эпизод I: Скрытая угроза» стали точкой отсчёта для компьютерной симуляции ткани в игровом кино. Опираясь на математические прорывы Бараффа и Виткина, 1998, и предшествующий опыт Pixar с Geri’s Game, 1997, ILM создала систему динамики, с помощью которой одежда CGI-персонажа реалистично реагировала на движение, гравитацию и ветер. Данная технология открыла дорогу для масштабного применения симуляции ткани в будущем.

Если «Эпизод I» продемонстрировал возможность симуляции ткани, то «Пираты Карибского моря» показали её масштабирование на уровень полнометражного блокбастера. Над симуляцией многослойной одежды на CGI-скелетах пиратов работала отдельная команда из 23 человек. Кроме того, именно в этом проекте возникла ключевая идея художественного контроля.

Обратите внимание на драпировку порванных жилетов и брюк на скелетах. Складки выглядят математически гладкими, без микроскладок и естественных заломов, которые создаёт реальная ткань. Это было ограничением вычислительных мощностей 2003 года.

Над симуляцией костюмов в «Пиратах Карибского моря» работала команда из 23 человек. Тогда цифровая симуляция ткани требовала выделенного штата. Рост команды с нуля в 1992 году до 23 человек в 2003 году наглядно показал, как быстро развивалась технология.

Согласно официальному резюме, Ари Рапкин работала в Industrial Light & Magic с 2000 по 2006 год. С 2002 по 2004 год она занимала должность руководителя проекта по симуляции ткани. В её резюме прямо указано: «This cloth simulation software produced digital cloth in feature films including Star Wars Episodes I/II/III, the Harry Potter series, and the Pirates of the Caribbean series».

В том же резюме указано, что в мае 2004 года Ари Рапкин выступила в Стэнфордском университете с докладом «Controlling Digital Cloth» (Управление цифровой тканью). Это выступление зафиксировало момент, когда индустрия перешла от вопроса «как симулировать физику» к вопросу «как управлять симуляцией».

Анализ «Пиратов Карибского моря» выявил три ключевых изменения по сравнению с предыдущим этапом.

1. Масштабирование: команда ILM выросла до 23 специалистов, занятых исключительно симуляцией ткани.
2. Усложнение задачи: многослойная одежда на десятках CGI-скелетов требовала одновременного учёта гравитации, ветра и нечеловеческой анатомии.
3. Наиболее значимое это смена парадигмы. Принцип Ари Рапкин «иногда сделать физику правильно — это совершенно неправильно» стал основой для последующих разработок, включая нейросетевую систему ML Cloth.

Это третье поколение цифровых технологий симуляции ткани. Вместо вычисления физики на каждом кадре система ML Cloth обучается на предварительно созданных примерах. Это было одним из первых применений машинного обучения для симуляции ткани в полнометражном фильме.

Костюм Blue Beetle сделан из плотно облегающего материала, который Digital Domain описывает как «rubber-like suit». В отличие от традиционной ткани, этот материал не развевается и не драпируется, а растягивается и собирается микро-складками в ответ на движения персонажа. Именно эта особенность сделала костюм идеальным кандидатом для тестирования ML Cloth: отсутствие свободно летящих кусков ткани упрощало задачу, позволяя сосредоточиться на точности деформаций.

Режиссёр Анхель Мануэль Сото настоял на создании практического костюма, который актёр реально носил на съёмках. Костюм разработала дизайнер Мейс С. Рубео. Костюм был отсканирован для создания точной цифровой копии.

ML Cloth работает иначе, чем традиционная симуляция. Ведущий разработчик Джон-Марк Гиббонс объясняет: «В отличие от симуляции, зависящей от времени, ML Cloth просто запоминает, как деформировать различные участки тела при заданной позе».

Процесс обучения: CFX-художники создают традиционную симуляцию костюма для набора тренировочных поз. Нейросеть учится имитировать эти деформации, улучшая результат.

Эффективность ML Cloth демонстрирует пример из производства. Джей Бартон рассказывает: аниматоры включили систему в своей сцене и заметили странное поведение ткани. После быстрого совещания ведущий CFX-художник изменил настройки, сеть переобучили, и все последующие кадры содержали исправление.

Без ML Cloth этот процесс занял бы недели: традиционная симуляция, рендер, просмотр screening room, возврат на доработку. С ML Cloth проблема была исправлена «в течение нескольких часов», и Бартон «никогда больше не должен был видеть этот кадр»

В экшн-сценах практический костюм полностью заменяется цифровой версией, анимированной с помощью ML Cloth. Это необходимо для движений, невозможных для актёра в тяжёлом резиновом костюме — полётов, ударов на сверхскорости и сложных акробатических элементов. Благодаря ML Cloth аниматоры видели, как будет вести себя ткань костюма во время невозможных движений, и корректировать их в реальном времени. Как отмечает Джей Бартон, «большинство кадров имели либо CG-дополнения, либо полную CG-замену» костюма.

Анализ «Синего жука» выявил три отличия ML Cloth от традиционной симуляции:

1. Система не вычисляла физику, а предсказывала деформацию на основе обученной нейросети. Как сказал разработчик Джон-Марк Гиббонс, ML Cloth «просто запоминает, как деформировать тело при заданной позе».

2. Ткань не застревала в геометрии и не создавала артефактов при быстрых движениях.

3. Проблема, занимавшая недели в 2003 году, теперь решается за несколько часов. Аниматоры видят результат в реальном времени в Maya.

ML Cloth не отменяет традиционную симуляцию, она так или иначе нужна для создания обучающих данных. Но технология меняет pipeline и сложный расчёт физики заменяется мгновенным предсказанием.

В ходе работы над этим визуальным исследованием я пришла к нескольким выводам, которые не были очевидны для меня до начала анализа конкретных фильмов.

Первый вывод касается приоритетов в VFX. Изучив материалы лекции Ари Рапкин в Стэнфорде, я поняла, что индустрия никогда не стремилась к абсолютной физической точности. Её тезис стал для меня ключом к пониманию философии VFX. Художественный контроль важнее физического реализма, потому что конечная цель рассказ истории.

Второй вывод будет о характере технологической эволюции. Сравнивая механические болты под нагрудной пластиной Бэтмена 1992 года, первые физические движки 1999 года и нейросеть 2023 года, я вижу одну и ту же задачу: заставить материал делать то, что он не делает естественным образом. Меняются только инструменты. В 1992 году это были физические приспособления, в 1999 году математические алгоритмы, в 2023 году нейросети.

Третий вывод о роли практических элементов в цифровую эпоху. В «Синем жуке» практический костюм не был отброшен, а стал основой для цифровой модели. Он послужил референсом для обучения нейросети. Практические и цифровые технологии сегодня не противостоят, а дополняют друг друга.

Четвёртый вывод об измерении прогресса. Самым объективным показателем эволюции оказалось время итерации. В 1992 году перешить резиновый костюм можно было за часы или дни. В 2003 году пересчёт физической симуляции и рендер занимали дни или недели. В 2023 году переобучение нейросети занимает часы, после чего предсказание для нового кадра происходит за секунды. Это ускорение обратной связи между анимацией и результатом одно из значимых технологических достижение последних тридцати лет.

Самое неожиданное, что я поняла в конце исследования: технология симуляции ткани развивалась не от плохого к хорошему, а от сложного к простому. Парадокс в том, что чем сложнее становилась технология внутри, тем проще она становилась для конечного пользователя. Эволюция симулировала саму себя, а технология сделала себя невидимой. Сегодня никто не говорит «смотрите, как круто симулирована ткань». Зритель просто верит персонажу. И это главный критерий успеха VFX — технология победила, когда её перестали замечать.