Методы визуального восприятия способов передвижения через звук

Восприятие движения объекта — это сложный когнитивный процесс, который не сводится исключительно к обработке визуальной информации. Современные исследования в области психологии и нейробиологии убедительно демонстрируют, что человеческий мозг постоянно интегрирует данные из различных сенсорных модальностей, чтобы сформировать целостное и предсказуемое представление о мире

В этом контексте звук выступает не как пассивный фон, а как активный, регулирующий фактор, способный кардинально изменять, усиливать и даже создавать иллюзорные аспекты визуального восприятия динамики. Этот феномен, известный как мультисенсорная интеграция, является фундаментальным принципом, лежащим в основе использования звука для формирования визуальных профилей.

Глубокое понимание механизмов этой интеграции открывает широкие возможности для творческого применения звукового дизайна в кино, играх и других визуальных медиа. Ключевым механизмом, обеспечивающим эту связь, является сенсомоторный резонанс, при котором наш мозг и тело подстраиваются под внешние ритмы, что напрямую влияет на восприятие скорости и ритма движения

Одним из наиболее ярких проявлений силы звука является его способность вызывать иллюзорное движение. Феномен «звук-индуцированного визуального кажущегося движения» (SIVM) показывает, что короткие звуковые стимулы, расположенные в пространстве, могут заставить наблюдателя видеть движение между статичными световыми точками, которых нет в реальности

Это указывает на то, что звук может напрямую активировать и направлять процессы в зрительной коре головного мозга. Подобным образом, звук способен влиять на восприятие уже существующего визуального движения. Например, в так называемой «бип-скоростной иллюзии» один и тот же объект, движущийся с одинаковой скоростью, воспринимается как более быстрый, когда на его изменениях направления совпадают короткие, неконтактные звуки

Это говорит о том, что временные характеристики звука могут служить дополнительным, мощным сигналом, который модулирует нашу оценку скорости визуального объекта. Более того, исследования показывают, что звук может влиять на воспринимаемую продолжительность визуального движения; зависимость и величина этого эффекта определяются структурой самого звука

Эти иллюзии не являются просто забавными трюками; они раскрывают глубокую взаимосвязь между аудиальными и визуальными системами мозга, где звук действует как «опора», помогающая мозгу интерпретировать и уточнять информацию от зрения.

В данном исследовании я хочу рассмотреть, каким образом саунд-дизайнеры (специалисты по созданию ощущений с помощью звуков в игровых и кино- проектах) добиваются нужного эффекта, связанного с правильным восприятием персонажей и их скорости передвижения

Для этого я проведу сравнительный анализ различных музыкальных произведений и саунд-треков в рамках одного и того же способа передвижения

Для начала стоит понять, что является динамикой, которую мы рассматриваем в данных материалах:

Динамика — «характер» передвижения, который включает в себя цель героя, его вес, его отношение к текущей ситуации

Первый пример материала, который я буду рассматривать в данном блоке — мелодия погони, привязанная к персонажу Eggman популярной игры OUTCOME MEMORIES в Roblox.

Второй материал данного блока — является темой побега с лавовой зоны в игре Haste, можно сразу заметить определённые отличия от первой композиции, которые могут показать, что не смотря на одно и то же настроение и цель саундтрека они устроены по-разному

В обеих композициях наблюдается использование ударных звуков разной длины, они позволяет контролировать темп бега нарисованного персонажа, а так же его воспринимаю тяжесть (Чем дольше длина ударного звука, тем выше тяжесть персонажа)

Как основное отличие двух треков можно назвать использование вокала в теме Eggman. Данный ход даёт достаточно занимательный эффект связанный с восприятием вокала как бек-мотива (Конкретно звонкие звуки согласных, чередующиеся с растянутыми звуками гласных) они создают бит, который диктует восприятие небольшой скорости, но с большой точностью действий, что на удивление совпадает с основным геймплеем игры

Так же, в саундтреке Haste можно заметить невысокую частоту основных ударных звуков, однако благодаря удлинённому бек-мотиву воображение начинает рисовать скорость выше, чем в Outcome Memories

Первый материал данного блока — композиция Bullet Tsunami, является представителем Drift Phonk направления, что выражается сильным Distortion и повышенной аргессивностью композиции. Обычно данные треки проигрываются при дрифте на бездорожье или слабоасфальтированной поверхности

Второй материал из данного блока — Prime Turbo, является представителем жанра Eurobeat, основная аудитория которого пошла из двух разных частей мира — горных серпантинов европы и узких шоссе японии. Единственное, что объединяет две этих зоны — достаточно хорошая дорога, что и слышно в данном треке

Основой «треков для дрифта» можно назвать подготовку перед началом активной части. Это помогает представить небольшую подготовку, связанную с набором скорости для начала управляемого заноса. Так же интересным эффектом является то, что логический бит трека приходится на пустые места между звуками, человек сам добавляет в него действие, которое является своего рода «битом» в композиции (Попробуйте, используя бит, представить, что вы резко переключаете передачу и меняете направление)

В первую очередь различия данных композиций исходят из количества distortion, которое появляется в основном звучании — Prime Turbo это хорошее дорожное покрытие и высокая технологичность действий, показываемая высоким уровнем.

Bullets Tsunami же создаёт ощущение более уличного покрытия — слабый асфальт, возможно парковка, на которой собрались друзья из неблагополучной компании, у них нет техники просто безбашенность

Первый материал в данной части является заглавной темой игры Dredge — симулятора тралла, в котором главный герой страдает от депрессии по потерянной жене и пытается её найти

Второй материал в данной части является темой из игры Assasin’s Creed Black Flag — пиратское приключение, полное опасностей и азарта

В двух данных материалах главным движущим элементом всей композиции является протяжная секвенция звуков, выполненная струнными инструментами. Это море, которое и двигает вперёд корабли, только дальше у представленных композиций идут различия

Если в теме Dredge море является спокойным, таинственным и невероятно глубоким, оно таит в себе не только мистические предметы, но и вселенскую скорбь

То в теме Black Flag море представляется опасным, но завораживающим противником, который оставит после себя только трофеи, а тех кто пропадёт в этой борьбе мы оплачем после

Как было показано в данном сравнительном анализе мы можем заметить, что авторы могут управлять нашим восприятием способа передвижения, используя только звучание и повторяющиеся элементы, привычные для нас как определённые паттерны передвижения