モーションキャプチャーをもっと手軽に：Noitom Perception Neuron Suit ハンズオン

Noitom社の驚くほど安価なモーションキャプチャー（Mocap）スーツ「Perception Neuron」について初めて耳にしたのは、Cloudhead Games社がVRゲーム用の俳優の演技を収録するために使用していた時でした。先日、私たちはこのスーツを実際に見て、Noitomのスタッフがボランティアの衣装を組み立て、モーションキャプチャー用に設定する様子を見学する機会を得ました。全体的に見て、このスーツの製作プロセスは比較的迅速かつ簡単で、そのシンプルさが素晴らしいと感じました。

スーツ

モーションキャプチャースーツは一般的に安価ではありませんが、Noitomは1,500ドルで開発することに成功しました。Cloudhead Gamesの「 The Gallery」のエピソード1 「Call of the Starseed 」の結果を見れば、Perception Neuronがクラスを超えたパフォーマンスを発揮していることがわかります。そのシンプルさはコスト削減だけでなく、スーツの柔軟性にも大きく貢献しています。

「スーツ」というのは少し誤解を招く表現かもしれません。Perception Neuronを衣服のように着用するわけではありません。むしろ、手袋をはめて、頭、腕、腰、脚、足、肩の間など、体の主要部位にストラップを数本巻き付けるような感じです。

各ストラップにはノードがあり、各ノードには小型センサー（Noitomはこれを「ニューロン」と呼んでいます）を取り付けるためのマウントが付いています。各ニューロンのサイズは12.5 x 13.1 x 4.3mmで、Pogoピンコネクタを介してシンプルなケーブルでノードからノードへと接続され、体にある他のすべてのセンサー（つまりニューロン）に接続されます。

各ニューロンには、ジャイロスコープと加速度計を含む慣性測定ユニット (IMU) が搭載されています。

キット全体はベルトに取り付けられたハブに接続され、ハブは有線（USB 2.0）または無線（802.11b/g/n Wi-Fi、2.4GHz）接続を介してPCに接続されます。（デモでは、Noitomは有線接続を使用しました。当然のことながら、このようにケーブルで接続されると問題が生じますが、着席キャプチ​​ャや手のみのキャプチャなど、それが問題にならないモーションキャプチャのシナリオも確かにあります。）

グローブシステムは少し異なります。手首にノードが搭載されていますが、他のノードに接続するのではなく、分岐して手の甲と5本の指の一番上の関節に搭載された一連のニューロンに接続します。（親指と人差し指にはそれぞれ2つのニューロンが割り当てられています。）

親指、中指、人差し指だけにニューロンを配置し、グローブシステムを簡素化することも可能です。Noitom氏によると、フルグローブシステムの方がより忠実度が高く、ゲームプレイに適しているとのことです。

ワイヤレスで使用したい場合は、スーツに取り付けるオプションのバッテリーパックがあります。Noitom社によると、現在搭載されているバッテリーパックでPerception Neuronを約3～4時間稼働させることができるとのことです。

各ノードは明滅する赤い LED ライトを発し、全体が生き生きとして、ややターミネーターのような印象を与えます。

シンプルに、クリーンに

パーセプションニューロンは全体的にシンプルであるだけでなく、柔軟性も備えています。例えば、標準キットは32個のニューロンを搭載していますが、18個のニューロンを搭載したバージョンも入手可能です。さらに、ニューロンの数に応じて複数の「モード」が用意されています。

片腕：3～11個のニューロン 上半身：11～25個のニューロン 全身：18～32個のニューロン

ニューロンは体のどこにでも自由に配置できるように思えますが、Noitom社は最も理想的な配置は、あまり動かない体の部分だと結論付けました。そして「動かす」というのは、実際には「曲げる」という意味です。つまり、大腿部のセンサーは、常に大きな筋肉である大腿四頭筋が曲がっている大腿部ではなく、大腿部の側面に取り付けられています。下腿部のセンサーは、ふくらはぎではなく、すねに取り付けられています。といった具合です。

入力されるセンサーデータは可能な限り「クリーン」であるべきです。これにより、ニューロンが体にできるだけ密着した状態を保つことができます。Axis Neuronソフトウェアには、不安定なデータやジッタのあるデータを平滑化するツールも用意されていますが、それでも可能な限りクリーンなデータを入力するのが理想的です。

Perception Neuron のパフォーマンスはニューロン間の距離によって影響を受けません。つまり、センサーが極端に離れていたり近かったりしても、精度やパフォーマンスが低下することを心配する必要はありません。重要なのは、センサー間の距離ではなく、身体へのセンサーの配置です。

キャリブレーション

私たちが参加したセットアップ作業中は、いくつかミスや接続の切断がありましたが、全体的にはスーツの接続（物理的にもデジタル的にも）は比較的簡単で、苦労することなく完了しました。装着者に巻き付けるストラップがいくつか付いており、PC上で動作するAxis Neuronソフトウェアはすぐにスーツを認識しました。

調整はさらに簡単でした。デモンストレーターがスーツをPCに接続し、Unityを起動すると、スーツの設定は4つのステップで簡単に完了しました。

スーツの着用者は、次の 4 つのポーズで体を配置する必要がありました。

- 安定ポーズ: ただじっとしているだけです。-「A」ポーズ: 両腕を体の横に置いて足を揃えてまっすぐに立ちます。-「T」ポーズ: まっすぐ立ち、両腕を地面と平行になるまで伸ばします。-「S」ポーズ: 「T」ポーズから、両腕を前に伸ばして親指同士を合わせ、しゃがみます。

必ず最初に「Steady」ポーズを行ってください。Noitom氏はまた、2～4時間ごとに再調整する必要があると指摘しています。

それぞれのポーズを数秒間保持する必要があり、ソフトウェアが適切なデータを受信したことをビープ音で知らせる。それだけだ。ポーズが完了するとすぐに、被験者の身体的な動きが画面上に表示され、顔のないアニメーション化された人型ダミーが彼のあらゆる動きを模倣するのを見ることができた。

動画でご覧の通り、遅延はそれほど問題にはならないようです。確かに目立ちますが、モーションキャプチャーのパフォーマンスに特に素早い反応が求められない限り、体験に大きな支障をきたすことはないはずです。Noitomによると、有線接続ではセンサーからPCへの遅延は8ミリ秒、無線接続では23ミリ秒とのことです。

（使用している PC によっては、遅延がさらに発生する場合があります。Noitom のスタッフは、2 年前のゲーミング ノート PC ですが、設備は整っているもののセットアップとデモを見せてくれたので、そこから必要なスペックを推測することができます。）

接続と調整が完了すれば、机に座って親指をくるくる回したり、部屋の中を側転したりと、想像できるあらゆる体の動きをほぼすべて実行できます。（ただし、ワイヤレス接続の場合です。PC に接続したまま側転はしないでください。）

次は何をする？消費ではなく創造

Perception Neuronは間違いなく魅力的なイノベーションですが、一部の人々が戸惑うのは、それをどう捉えるべきかという点だと思います。没入型テクノロジーの世界では、人々は「何か」を「消費」できるものについて学ぶことに慣れています。例えば、HTC Vive、Oculus Rift、OSVRを使えばVR体験を楽しむことができます。HMDを購入し、PCに接続すれば、開発者が作成した何百ものゲームやアプリから好きなものを選ぶことができます。

それは知覚ニューロンではありません。それは主に消費のためではなく、創造のためです。

NoitomとCloudhead Gamesのコラボレーションで見られたように、Unity、Unreal、Motionbuilderなどのソフトウェアと連携する1,500ドルのモーションキャプチャースーツの大きな価値は、開発者や研究者に強力で安価、そして柔軟なツールを提供することです。UnityとUnrealを使えば、Perception Neuronを使ってOculus RiftやHTC Vive向けの体験を作成できます。Neuron SDK Readerを使えば、データストリーミング用の独自のプラグインを作成することもできます。

小規模なゲーム制作会社が、パフォーマンスキャプチャをより魅力的かつ簡単にするためにこれを使用するのは良いことですが、他にも様々な用途が考えられます。大学などの他の環境では、実際の研究にも活用できます。

上記の動画は、ミズーリ大学のイマーシブ・ビジュアライゼーション・ラボ（iLab）で撮影されました。ビマル・バラクリシュナン博士率いるiLabの教授陣と学生は、モーションキャプチャー技術を用いて、専門家がそれぞれの環境でどのように動き回るかなどに関する研究を行っています。例えば、熟練した医療専門家が職場空間内でどのように動き回るかをベンチマークし、学生が同じ作業を行う方法と比較しています。また、専門職の職場におけるバーチャルトレーニングツールの有効性についても調査し、人間工学と効率性を評価しています。

Perception Neuronを手に入れるまでは、18台のカメラと半永久的な室内設備を使用していました。このシステムは強力ではあるものの、Perception Neuronが解決する欠点がいくつかありました。例えば、18台のカメラによるシステムは空間内での人物の身体の追跡に優れていますが、Perception Neuronのグローブはより小さく正確な手の動きを捉えるのに優れています。

iLabで働く建築学大学院研究助手、ジェームズ・ホプフェンブラット氏は、Perception Neuronモーションキャプチャースーツのその他の利点について詳しく説明しました。「システムのセットアップの速さに感銘を受けました。基本的にプラグアンドプレイです」と彼は述べ、「18台のカメラと大きな三脚を使うよりもはるかに便利です」と続けました。また、Perception Neuronは精度は劣るものの、VRやAR環境での仮想オブジェクトとのインタラクションなど、多くの用途に非常に役立つと指摘しました。

同氏によると、カメラが不要なことも利点の一つで、Perception Neuron を光沢のある物体や薄暗い部屋、屋外でも使用できるという。

えっ、屋外？そう、屋外で。PCなしで。「小さなハブを装着して、micro SDカードを挿して外で走るだけで、データが保存されます」とホプフェンブラット氏は言う。「その後、データを専用ソフトウェアに入力して、普段通りに操作できます」

Perception Neuronにはバッテリーパックが搭載されていることをご存じでしょうか。ハブにmicroSDカードを接続すれば、スーツは完全に独自のデータ生成と記録が可能です。Hopfenblatt氏はさらに、Perception Neuronは膨大な量のデータを生成するわけではないため、ストレージ容量の問題はそれほど大きくないと指摘しました。例えば、彼が手元に持っていたファイルの一つは20～30秒のモーションキャプチャで、サイズは1MB未満でした。

Perception Neuronを装着して屋外を自由に歩き回る場合の唯一の欠点は、位置追跡機能があまりないことです。例えば1マイル走ったとしても、距離に関する情報は一切記録されず、走っている間の身体の動きや状態のみが記録されます。

核心

NoitomはPerception Neuronを4つのバージョンで販売しています。2つは一般ユーザー（開発者、一般ユーザーなど）向け、残りの2つは学術機関専用です。一般ユーザー向けと学術機関向けの「Aluminum」エディションの違いは価格のみです。32ニューロンのフルキットは、一般ユーザー向けが1,500ドル、学術機関向けが1,200ドル、18ニューロンバージョンはそれぞれ1,000ドルと800ドルです。

Noitomのオンラインストアから直接購入する必要がありますが、同ストアでは追加パーツも販売しています。例えば、ハンドアセンブリは100ドル、ニューロン単体は30ドルなどです。ソフトウェアが付属したバンドル版もあります。