PSVRのジョシュア・ベルVR体験は空間オーディオと位置トラッキングを搭載

グラミー賞受賞歴のあるヴァイオリニストであり、長年ソニーのパフォーマーとして活躍するジョシュア・ベルは、ソニーと提携し、PlayStation VR向けの音楽体験を制作しました。才能あふれるベルは、360度カメラと高度な音声キャプチャー機器を駆使し、ブラームスのハンガリー舞曲第1番を演奏。空間オーディオと位置トラッキングを駆使した没入型映像を制作しました。

ソニーはこれらの制限に満足しませんでした。360度立体視動画でさえも不十分だったため、ハリウッドの特殊効果スタジオで用いられる技術を活用し、シーン全体を3Dエンジンで再現し、位置トラッキングを可能にしました。「この体験に動きを加えるのは簡単そうに聞こえますが、実際には非常に大きな挑戦です」と、ソニー・インタラクティブエンタテインメントのテクニカルディレクター、イアン・ビッカースタッフ氏は、この体験に関するビデオで述べています。

同社は、ロンドンのエア・スタジオにあるリンドハースト・ホールで行われたベルとサム・ヘイウッドのパフォーマンスを、ソニーFDR-X1000Vアクションカメラ2台を搭載したカメラリグで立体視4K映像として撮影した。ビッカースタッフ氏によると、チームはシーン内の各アイテムを分離し、デジタル映像を分解した上で、各コンポーネントの3D再現を構築し、映像シーケンスを3Dで再現する必要があったという。

ビッカースタッフのチームも、パフォーマンスのサウンドを再現するために同様の努力をしました。リアリティのある没入感あふれる体験を生み出す上で、オーディオが重要な役割を果たすことは周知の事実です。多くの専門家は、聴覚体験は視覚体験よりも重要だと主張しています。聴覚と視覚が何らかのレベルで一致していない場合、錯覚は崩壊する可能性があります。例えば、動画に位置トラッキング機能が組み込まれていても、オーディオが立っている場所に適応しなければ、体験は「正しい」と感じられないでしょう。

ソニーは、パフォーマーの周囲に複数のマイクを設置し、この体験を録音しました。チームは各マイクの距離と配置を測定し、そのデータを用いて体験のサウンドスケープをマッピングしました。また、このパフォーマンスはアンビソニックマイクでも録音されました。アンビソニックマイクは全方向からの音を捉えるため、例えばパフォーマーに近づいた時、まるで実際にその場にいるかのように音が変化します。

ソニーは、ジョシュア・ベルのVR体験の制作は「非常に大きな技術的課題」だったと述べています。ビッカースタッフ氏は、チームは現在、プロセスの合理化と実現の容易化に取り組んでいると述べています。ソニーは、この位置追跡ビデオ技術が将来、ライブ音楽、演劇、スポーツイベントなどに活用できると考えています。

Joshua Bell VR Experience は無料で、PlayStation Store で今すぐご利用いただけます。