Air Race X : AFC Image apporte un son de réalité étendue à Shibuya

En octobre 2023, Air Race X Shibuya Digital Round a vu des avions virtuels courir dans les rues de Shibuya, au Japon. Pour la première course aérienne au monde mise en scène en réalité étendue (XR), le son réaliste était un élément essentiel du spectacle. La technologie audio immersive Yamaha AFC Image a fait de l'événement une expérience passionnante et ultra-réelle.

Faire courir des monoplans sportifs à des vitesses allant jusqu'à 370 km/h (230 mi/h) à travers une ville n'est évidemment pas pratique, alors Air Race X a été conçu en tant que « Formule 1 des skieurs » pour créer l'atmosphère et le spectacle d'avions virtuels se faisant la course dans les rues. Huit des meilleurs pilotes de course aérienne au monde ont effectué un parcours identique dans des endroits éloignés du monde entier, et des données de vol précises ont été recueillies et analysées par le quartier général de la compétition. Ces données ont ensuite été utilisées pour créer une série de « courses » virtuelles à travers Shibuya, avec des spectateurs visionnant des animations de l'avion à l'aide de lunettes de réalité augmentée (RA) et de téléphones intelligents.

Le défi

« Avec Air Race X, nous voulions créer un nouveau style de sport pour spectateurs sans précédent », explique (M. Tsutsumi de PATHFINDER Co., Ltd.). « Nous voulions reproduire la puissance et la position du son du moteur d'avion, d'une manière qui est unique au sport motorisé, dans un environnement de spectateurs en RA. »

Représentation comme un « sport automobile en cinq dimensions qui transcende le temps et l'espace », les spectateurs se sont rassemblés au Shibuya QWS de la ville, un espace de réseautage et de création situé au 15e étage du gratte-ciel Shibuya Scramble Square. À partir de là, ils pourraient regarder l'avion virtuel (en utilisant les données de vol réelles) voler autour du parcours virtuel.

Le son était un élément essentiel pour donner une impression réaliste des avions qui volaient réellement, mais un système PA stéréo conventionnel n'aurait pas été en mesure de produire une sensation de mouvement sonore suffisamment réaliste.

De plus, il ne suffit pas de reproduire une source sonore pour créer un sentiment de réalisme. Les sons qui atteignent nos oreilles ne sont pas seulement les ondes directes, mais aussi ceux réfléchis par les bâtiments et autres objets. C'est un autre défi auquel l'équipe Yamaha a fait face, parce que les sons réfléchis qui seraient produits à partir des bâtiments de la ville de Shibuya n'étaient pas créés dans les espaces ouverts où les enregistrements étaient effectués.

La solution

Sous la direction du superviseur Hiromu Ohgi, le Spatial Audio Group de la division des solutions professionnelles Yamaha a déployé le système d'image propriétaire de Yamaha Active Field Control (AFC) pour localiser le son pour les spectateurs, maximisant ainsi l'impression que l'avion virtuel produit un son réel.

« L'image AFC peut couvrir une superficie allant jusqu'à un kilomètre carré (0,4 mille carré) et elle est également capable de simuler l'atténuation de la distance. Cela nous a permis de reproduire le mouvement de l'image sonore et les changements de volume à une distance allant jusqu'à un kilomètre, reproduisant ainsi des sons de vol très réalistes », explique Hiromu.

Les systèmes AFC peuvent utiliser le protocole Open Sound Control (OSC) qui, pour cette application, signifie que des données utiles non directement liées au son - telles que les informations de vol de position - pourraient être utilisées pour transmettre des informations au système d'image AFC afin de tracer l'emplacement de l'aéronef virtuel dans l'espace aérien de Shibuya.

Les sons ont été reproduits à l'aide de 13 haut-parleurs à deux voies amplifiés équipé du Yamaha DZR10-D Dante et d'un subwoofer amplifié équipé du DXS15XLF-D Dante. Placée sur le sol à une distance d'environ deux mètres l'une de l'autre, la reproduction du mouvement sonore de l'avion par le système AFC Image a été reproduite de manière si fluide et réaliste que, même avec l'espacement entre les haut-parleurs, elle semblait complètement naturelle.

« Pour créer un espace sonore plus réaliste, nous avons utilisé la réverbération 3D d'AFC Image », ajoute Hiromu. « Il s'agit d'un effet unique qui fournit une réverbération avec une structure sonore réfléchie, basée sur la position de la source. Pour créer avec précision le bruit de l'avion volant autour de Shibuya, nous avons créé un préréglage où l'énergie des premières réflexions est élevée, pour imiter le rebond su son sur les bâtiments, tandis que les réverbérations tardives sont presque inexistantes, comme si le son disparaissait au loin. Les membres de l'auditoire ont dit que c'était comme s'ils pouvaient sentir l'emplacement de l'avion, juste à partir du son! »

« Les gens étaient très intéressés lorsque nous avons expliqué que le système calculait les échos des bâtiments environnants, pour le rendre aussi réaliste que possible », ajoute M. Tsutsumi. « Le son et les vibrations étaient si puissants que c'était presque comme si le public était à l'extérieur, même s'il était à l'intérieur. L'expérience de sentir le son à travers tout votre corps, plutôt que de simplement l'entendre, et cette sensation de changement au fur et à mesure que l'avion virtuel passait était très bonne. »

Le système de reproduction sonore était entièrement relié à Dante, utilisant le Steinberg Nuendo DAW pour acheminer le son, hébergé sur un PC avec une carte AIC-128D Dante Accelerator, vers une console de mixage numérique Yamaha CL1 et le processeur AFC, puis vers les haut-parleurs individuels.

Un ordinateur de commande fonctionnant dans un environnement Cycling '74 Max8 a été utilisé pour envoyer les informations de position de la source sonore au système d'image AFC via OSC. La synchronisation entre les données de position de la source sonore et la source sonore de lecture a été établie à l'aide du MIDI; les signaux de commande MIDI envoyés de Max8 à Nuendo, permettant ainsi de contrôler la lecture Nuendo par le logiciel Max8.

Les visuels de réalité augmentée ont été reproduits sur la plateforme STYLY VR/AR de Psychic VR Lab Inc. La synchronisation avec la RA a été établie sur une base temporelle, et le Max8 a été ajusté pour jouer automatiquement la source sonore en fonction de l'heure.

« Notre plan est de faire de l'Air Race X un événement mondial de classe mondiale et nous croyons que le lien entre la XR et la technologie sonore est essentiel à sa croissance », a déclaré M. Tsutsumi. « En faisant la promotion de vols réalistes avec Air Race X, nous avons pu travailler avec des personnes en XR et en production sonore avec lesquelles nous n'avons jamais été en contact auparavant. Cela a été très stimulant pour nous et nous aimerions élargir l'utilisation de ce genre de système à d'autres événements. »

« Système AFC »