マイクロソフトは没入型テクノロジーを強く信じており、常に没入型コンピューティング体験の向上に取り組んでいます。マイクロソフトの研究チームは最近、HoloLens（そして将来的には他のデバイス）上の複合現実コンテンツに触覚タッチを可能にする「MRTouch」と呼ばれるインタラクション技術を発表しました。
2016年、MicrosoftはHoloLensヘッドセットをリリースしました。これは、同社の複合現実への取り組みを初めて世に知らしめたものでした。HoloLensヘッドセットは環境マッピングとハンドトラッキング技術を搭載し、現実世界の空間に3D仮想オブジェクトを組み込んだインタラクションを可能にします。HoloLensはジェスチャー、視線、音声による入力をサポートしていますが、これらの方法は私たちが求めるほど直感的ではありません。ジェスチャーはユーザーインタラクションに触覚的な反応を提供しませんし、視線や音声によるインタラクションは確かに役立つものの、汎用的なインタラクション方法としては適していません。
ほとんどの人は、スマートフォン、タブレット、そしてそれほどではないもののタッチスクリーンのコンピューターモニターの使用を通じて、タッチベースの操作に慣れています。Microsoftの実験的なMRTouchソフトウェアは、HoloLensの高度な環境マッピングとハンドトラッキング技術を活用し、仮想入力デバイスとして使用できる平面を正確に特定することで、複合現実環境にタッチ操作を導入します。
Microsoft HoloLensヘッドセットには、2つの環境トラッキングモードが搭載されています。ロングスロートラッキングモードでは、内蔵カメラを使用して、部屋の壁やその空間内の物体など、周囲の空間をマッピングします。また、ジェスチャートラッキングに使用され、最大1メートルのトラッキング距離を誇るショートスローモードでも動作します。MRTouchアプリケーションは、ロングスロートラッキングでは指のトラッキング精度が不十分なため、HoloLensのショートスロートラッキングモードを使用します。
マイクロソフトの研究者たちは、短焦点深度カメラの情報と赤外線カメラのフィードを組み合わせることで、遠距離深度カメラの情報に頼ることなく、平面の正確なマッピングを実現しました。これにより、MRTouchソフトウェアは周囲の環境の完全な3Dマップがなくても動作できると研究者らは述べています。
MRTouchを使えば、カウンタートップ、机、壁など、あらゆる平らな面を触覚タッチ面として利用できます。MRTouchでアプリを開くには、操作したい面をタッチし、指を右下にドラッグすると、アプリケーションを開くための仮想ウィンドウが作成されます。物理的な表面では、仮想ボタンを押した時の感触を得られるだけでなく、より正確な入力が可能になります。空中ジェスチャーは簡単な操作には有効ですが、ボタンを押したタイミングがわからない仮想メニューでは操作が困難です。さらに、空中ジェスチャーは単一の入力ポイントに制限されていますが、MRTouchでは最大10本の指すべてを使ったマルチタッチ操作が可能です。
MRTouch ソフトウェアのトラッキング パイプラインは 25fps で動作し、イメージ ストリーマー、トラッカー エンジン、クライアント ライブラリの 3 つのコンポーネントで構成されています。イメージ ストリーマーは、赤外線カメラと深度カメラからデータをエクスポートし、TCP ソケット経由でトラッカー エンジンに送信します。MRTouch トラッカー エンジンは、イメージ ストリーマーからそのデータを受信し、それを使用して「既知のトラッキング サーフェス」とその座標のリストを維持します。Microsoft の Windows Mixed Reality プラットフォームの他のアプリケーションと同様に、MRTouch ウィンドウは、ユーザーが空間内を移動している間、その位置に固定されたままになります。MRTouch システムの 3 番目のコンポーネントはクライアント ライブラリです。クライアント ライブラリは、トラッカー エンジンへの TCP 接続を開き、位置データとタッチ情報を受信します。クライアント ライブラリは、その情報をアプリケーションが解釈できる形式に変換します。
MRTouch ソフトウェアは Microsoft の HoloLens Mixed Reality ヘッドセット上で動作しますが、チームによるとソフトウェアを構築するためにカスタム API を作成したため、アプリを他の Mixed Reality デバイスに移植するのは簡単になります。
しかし、MRTouchは現在利用できません。Microsoftは、MRTouchがいつ一般公開されるか、あるいは公開されるかどうかについては言及していません。しかし、そのプロセスについて詳しく知りたい方は、チームリーダーのRober Xiao氏がMRTouchの実現方法を詳述した研究論文を公開しています。私たちは、このプロジェクトが市場性のあるソフトウェアへと発展することを期待しています。なぜなら、複合現実における触覚インタラクションは、私たちが切望しているものだからです。
ケビン・カルボットはTom's Hardwareの寄稿ライターで、主にVRとARのハードウェアを扱っています。彼は4年以上にわたりTom's Hardwareに寄稿しています。
