VRはまだ黎明期にあり、OculusとHTCは既に主要なVRハードウェアメーカーとしての地位を確立しているように見えますが、まだ多くの課題が残されています。例えば、VRの処理能力は非常に高く、多くのVR HMDには視線追跡などの技術がまだ十分に搭載されていません。SensoMotoric Instruments（SMI）は、この問題への対策を練っています。
中心窩レンダリング
SMIは、実質的にあらゆるHMDで中心窩レンダリングを実現するソリューションを開発しました。このソリューションは視線追跡技術を用いて実現されており、視線追跡はVR HMDに埋め込まれた超小型PCBに取り付けられた2台の小型カメラによって実行されます。
簡単に言うと、フォービエイテッドレンダリングは、VR体験における視界の中心部分に主に焦点を当てることで、処理リソースを節約します。つまり、視野内にあるものだけを完全にレンダリングし、視線が焦点を合わせている狭い領域において、最も低いレイテンシと最高のフレームレートを実現します。
理にかなっていると思いませんか？VR体験の特定の領域を見ていないのなら、なぜそれをレンダリングして貴重なGPUリソースを無駄にするのでしょうか？しかし、言うは易く行うは難しです。
中心窩レンダリングが機能するには、システムがユーザーの視線を認識し、それに応じて調整する必要があります。眼球は素早く動くため、その動きを素早く読み取り、システムに調整を指示できる視線追跡ソリューションが必要です。そして、システムはその調整を実行する必要があります。これらすべてが、いわば瞬きする間に行われなければなりません。
高速視線追跡：無敵
QiVARIやFoveなど、VR HMD向けの視線追跡技術を開発している企業はいくつかありますが、SMIのバージョンが特に印象的だったのは、いくつかの理由があります。まず、どんなに頑張っても中心窩レンダリングを破ることができなかったこと。そして、カメラとアセンブリは、モバイルであろうとなかろうと、ほぼあらゆるHMDに取り付けられるように設計されており、全体のコストは10ドル未満です。
カメラはHMDのレンズをまっすぐに映し出すため、SMIが「フル視野」と呼ぶ視界が得られ、あらゆる種類のレンズで動作します。ディスプレイには、中心窩レンダリングを示す2つの円が表示されます（デモ用）。内側の円は100%、外側の円は60%、それを超える部分は20%でレンダリングされます。SMIによると、このモジュールは250Hzで画像を配信できるとのことです。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
SMIが実行していた2つのデモを試した時、当然ながら最初に試みたのは、フォービエイテッドレンダリングの実際の動作を捉えることでした。1つのデモではOculus Rift DK2を使用し、もう1つではGear VRを使用しました。
Riftを使って、クイックキャリブレーションプロトコル（赤い四角を3回見るだけで、この文章を読むのと同じくらいの時間がかかります）を実行した後、ヨーロッパ風の素朴な雰囲気の仮想の部屋に入りました。階段と白黒のタイル張りの床があり、できるだけ素早く周囲を見回し、レンダリングされていない（あるいはレンダリング不足の）領域を見つけようと首を左右に振ってみました。しかし、無駄でした。システムが速すぎたのです。
Gear VRにも同様の簡単なキャリブレーション機能があります。SMIが披露したデモには3つのゲームが含まれていました。そのうちの1つはモグラ叩きゲームです（私は編集長のフリッツ・ネルソンよりもずっと短い時間でクリアできたことを誇りに思います）。ハンマーを落としたい場所を見つめ（視線の位置を示す小さなカーソルがあります）、小型のハンドヘルドコントローラーのトリガーを押すだけでハンマーを叩きます。もう1つのゲームでは、箱を見つめて撃ち、箱を空中に飛ばします。撃ち続けながら、箱をジャグリングするのが目的です。
どちらの場合も、視線追跡の速さに驚きました。まるで、私の目と追跡システムが、脳が処理できるよりも速く動いているかのようでした。（冗談はさておき、ここで冗談を言ってください。大丈夫、待っています。終わりましたか？よし、続けましょう。）
Gear VRデモの最後のゲームでは、プレイヤーは暗い部屋の中にいて、視線を向ける場所すべてに「懐中電灯」が灯ります。この場合、「カーソル」は細い光線です（視線追跡カーソルを巧みに装飾した例です）。アイテムを見つめ、コントローラーのボタンをクリックすることで、アイテムとインタラクトできます。パチパチと音を立てる暖炉も含め、部屋のほとんどのオブジェクトとインタラクトできます。実際に炎を煽ることも可能で、その詩情に惹かれて、思わずそうしてしまいました。
口語的に言えば、アイトラッキングは驚くほどスムーズに動作します。CESで試したQiVARIのデモでも感じましたが、もう少し制御性を高めるために解像度をもう少し下げても良かったかもしれません。
キャッチ22
SMIは、これらのデモのジレンマをよく理解しています。フォービエイテッド・レンダリングが正しく機能していれば、それが機能していることが分かりません。そのため、実際に目にする体験という点では、フォービエイテッド・レンダリングの有無に関わらず、デモは同じ体験を提供することになります。SMIはGear VRのデモでフォービエイテッド・レンダリングの効果を示す手段を持っていませんでしたが、RiftのデモではシンプルなCPU/GPU使用率とFPSメーターを動作させていました。
前述のデモをRiftで実行したところ、CPUとGPUの使用率は一定のレベルに達していました。デモンストレーターがフォービエイテッドレンダリングをオンにすると、GPU使用率は約70%から50%へと瞬時に低下しました。彼はこれを数回オン/オフに切り替えましたが、結果は毎回ほぼ同じで、しかも瞬時に変化しました。
今のところ、Gear VRに関しては彼らの言葉を信じるしかないようです。SMIによると、フォービエイテッドレンダリングを搭載したスマートフォンでのCPU/GPU使用率の差は、体験の要求に関わらず膨大な処理能力を駆使できるPCよりもはるかに顕著だそうです。（RiftのデモでFPSが変わらなかったのはそのためです。しかし、重要なのは、同じFPSを実現するためにシステムがそれほど負荷をかけなくても済んだということです。）
単なるHMDではない
誤解のないよう明確に述べておくと、SMIの目的は新たなHMDを開発することではありません。チームが自社のプロトタイプや概念実証モックアップではなく、既存のHMDで視線追跡技術を披露したのも、このためです。SMIは他社のHMDにも参入したいと考えています。（ただしOSVRは例外で、どうやら小型カメラとモジュールを収めるスペースが足りないようです。）
価値提案は確かに存在します。RiftもViveも視線追跡機能も中心窩レンダリング機能を備えておらず、これらの追加機能を追加しても価格（それぞれ600ドルと800ドル）がわずか数ドル上昇するだけです。さらに、SMIはこのアイデアにあまり乗り気ではないようですが、この安価な立体視カメラモジュールは、パッケージ全体の価格がわずか30ドル程度と、安価なGoogle Cardboard HMDと組み合わせる有力な選択肢となるでしょう。
これは、SMIが提携しているAltSpace VRにとっても理想的なソリューションとなる可能性があります。AltSpace VRでは、ソーシャルVR空間にアバターが存在します。視線追跡技術を活用することで、他者のアバターの仮想的な目を実際に見つめることができ、より迫力のある体験を生み出すことができます。
詳細:バーチャルリアリティの基礎
セス・コラナーは以前、トムズ・ハードウェアのニュースディレクターを務めていました。キーボード、バーチャルリアリティ、ウェアラブル機器を中心としたテクノロジーニュースを担当していました。
