34
Lenovo Phab 2 Proでタンゴを踊る:必要な半端な対策

はっきり言おうが、GoogleのTango ARスマートフォン機能の将来は、LenovoとそのPhab 2 Proスマートフォン(そしてAsusとそのZenfone ARにも少し)にかかっている。現在、市場でTango対応デバイスはPhab 2 Proのみ(Zenfone ARはまだ発売されていない)。その理由は正確には不明だが、事実か想像かはさておき、LenovoとAsusは、こうした特別な拡張現実機能を搭載した消費者向けデバイスを大胆にリリースする唯一のデバイスメーカーだ。両社は、その功績を高く評価されるべきであると同時に、この取り組みを失敗させない責任も負っている。

Phab 2 Proをしばらく使ってみました。詳細は後述しますが、最初にネタバレをしておきます。このスマートフォン(あるいはおそらくどのスマートフォンでも)のTangoは中途半端です。しかし、中途半端なのは必要なことです。

タンゴとは何ですか?

Tangoは、拡張現実(AR)体験を生み出すコンピュータービジョン技術です。モーショントラッキング、エリアラーニング、奥行き知覚という3つの柱から成り立っています。Tangoがこれらの要素をARキルトのように編み上げる方法は、魅力的であると同時に、複数のコンポーネントをうまく連携させる必要があるため、少々面倒に思えるかもしれません。

モーショントラッキングは、広角魚眼カメラ、加速度計、ジャイロスコープによって処理されます。カメラはライブ画像を撮影し、ソフトウェアはエッジや角などを「認識」します。ソフトウェアはこれらのランドマークをフレームごとに比較し、各フレーム間でカメラがどれだけ移動したかを計算で算出します。そして、加速度計とジャイロスコープが、デバイスの移動速度と空間内での向きを測定します。(これら3つの機能は、ミッドレンジ以上のスマートフォンにほぼすべて既に搭載されていることにご留意ください。)

エリア学習コンポーネントは、実際にはモーショントラッキングの論理的な拡張版に過ぎません。言い換えれば、ソフトウェアはモーショントラッキングコンポーネントが「見た」ものを、短期的にも長期的にも「記憶」するということです。つまり、部屋を素早くスキャンすれば、デバイスはゲームなどをプレイするのに十分な時間、その情報を「認識」しますが、その情報を保存しておき、次に同じ部屋を訪れた際に呼び出すこともできます。10分後でも1年後でも構いません。部屋の中で何か変化があった場合、Tangoは保存されたエリア学習データと新しいリアルタイムのモーショントラッキングデータを組み合わせることで、より高い精度を実現します。

これを目(モーショントラッキング)と脳(領域学習)のつながりのように考えてみましょう。部屋に入ると、目は部屋にあるすべての物体を見て、壁や天井までの距離を記録します。部屋の中を動き回ると、部屋の中ですでに見た物の位置の感覚が、たとえもう見ていなかったとしても維持されます。つまり、その領域を学習したことになります。後で同じ部屋に戻り、何も動かされていなければ、目を閉じて安全に移動できます。脳は保存された領域学習データを思い出すからです。後で同じ部屋に戻り、たくさんの物が移動、追加、または削除されていたとしても、その空間に関する以前の知識と目が取得した新しいデータが組み合わさり、何かにぶつかることなく自信を持ってその空間に入っていくことができます。

Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。

しかし、もし脳がそもそもそのデータを書き留めていなかったら、その物体を見るのをやめた途端、部屋に何があったのか忘れてしまうでしょう。同様に、領域学習のないモーショントラッキングには大きな欠陥があります。

Tango パズルの 3 番目のピースは奥行き知覚で、この部分がデバイスの AR 機能のほとんどを解き放つ鍵となります。モーション トラッキングは、ある意味では、空間とデバイスの位置について推測することとほぼ同じです。エッジをつかみ、フレームを比較することで相対距離を測定します。一方、奥行きセンサーは、飛行時間型赤外線エミッターを使用して、デバイスに対するすべてのものの位置を実際に測定します。赤外線は、見つけたものすべてに反射し、情報を満載してデバイスに戻ります。そして、一瞬のうちに (Lenovo は資料で「数ナノ秒」と説明しています)、そのデータが測定され、RGB カメラがステレオ画像を作成します。これで奥行き知覚が完成です。デバイスが奥行き知覚を獲得すると、仮想オブジェクトを空間内のどこに配置すればよいかがわかるだけでなく、現実のオブジェクトや空間とインタラクションできるようになります。

Lenovoは、これらすべてを小型(というか比較的小型)のスマートフォンのフォームファクターに収めるために、工夫を凝らす必要があったと述べています。Infineon社およびPMD社と提携し、IRエミッターとRGBカメラを1つのユニットに統合したカスタム深度センサーを開発することでスペースを節約しました。また、3つのカメラモジュールすべてをPhab 2 ProのZ軸高さに収めるために、LenovoはそれらをPCBの穴に収める必要がありました。

同社は資料の中で、デバイス内にこれほど多くのモジュールを詰め込むことによるバランスの問題を解決するのは困難だったとも述べています。(バランスは決して悪くないのですが、「解決済み」というのは言い過ぎかもしれません。)

レノボはさらに、Phab 2 Proの設計と製造において克服しなければならなかった課題のいくつかについて次のように説明した。

当然のことながら、これほど多くのセンサーが同時に動作するため、RF干渉の軽減、消費電力の最適化、そして放熱性の向上といった課題がありました。Phab 2 Proには、プロセッサから熱を放散する専用サーマルパイプが搭載されています。Lenovoは、シールドカバーとヒートパイプの間にサーマルペーストを追加することで、放熱性を高めました。また、グラファイト、アルミニウム、銅などの素材を使用することで、スマートフォン全体の効率的な放熱を実現しました。

Tango対応デバイスには、この技術が機能するために必ず搭載されている特定のコンポーネントがありますが、それらを必ずしも配置する標準的な方法は存在しないようです。例えば、Phab 2 Proの背面とAsus ZenFone AR(下図)を比較してみましょう。両メーカーの配置は全く異なっています。Phab 2 Proではアセンブリ全体が垂直に配置されていますが、Zenfone ARではカメラモジュールが水平に配置されています。

巨大さ、そしてその他の問題

Phab 2 Proはスマートフォンとしてはあまり役に立たない、と誰かが言っていました。Phab 2 Proをスマートフォンとしてテストしたわけではありませんが、数週間メインのスマートフォンとして使ってみた経験から言うと、前述の意見に同意できます。

Phab 2 Proは巨大です。(逸話:初めてこのスマホを手に持った時、7歳の息子はその大きさに文字通り息を呑みました。)これはまさにファブレットです。私の手は(少なくとも)平均的な大きさの男性ですが、両手が使えないと普段は使いにくく、場合によっては全く使えないことに気づきました。ズボンのポケットに入れっぱなしにしていたのですが、机の上、ソファの上、車内など、どこに座ってもポケットから滑り落ちてしまうので、もう使わなくなりました。紛失したり、地面に落として壊したりしないように、外出時は机の上やサイドテーブルの上に置いておくか、コートの大きめのポケットに押し込むようにしていました。(注:結局、ポケットから落ちて硬い床に落ちてしまい、画面が割れてしまいました。あぁ。)

画像

1

9

ARを使わなければバッテリーの持ちは問題ありませんでした。AR機能を数分間連続して使用しても、一日の終わりに充電しなければならないほどバッテリーが消耗することはありませんでした。しかし、ARアプリを使うとPhab 2 Proはすぐに熱くなりました。

また、ヘッドホンジャックは、いわゆる「ジャック」状態です。ポッドキャストを聴くときも通話中も、ヘッドセットやイヤホンが機能しないことがよくありました。

ただし、ストレージは問題ではありませんでした。デバイスの容量は64GBで、数十個のアプリ(エリア学習データも保存)をインストールし、多数の動画を撮影し、スクリーンショットを多数撮影したにもかかわらず、20GB強しか使用しませんでした。

それでも、単に高性能で高級なスマートフォンを探しているだけなら、Phab 2 Pro を購入する必要はないでしょう。Tango が提供する AR 機能に興味がある場合にのみ、贅沢に購入しましょう。

スワイプして水平にスクロールします

ヘッダーセル - 列 0レノボ Phab 2 Pro
画面6.4インチ クアッドHD(2560x1440)、2K IPSアサーティブ2.5D曲面ガラス
CPUQualcomm Snapdragon 652 プロセッサ(Tango 向けに構築)
メモリ4ギガバイト
ストレージ64 GB(microSD経由で最大128 GB)
カメラ背面:16 MP PDAF 高速フォーカス、深度センサー、モーショントラッキング、前面:8 MP 固定焦点(F2.2 絞り)
オペレーティング·システムAndroid 6.0.1(マシュマロ)
バッテリー-4050 mAh リチウムイオン + 急速充電 -スタンバイ時間: 13 日以上 -通話時間: 18 時間
デュアルSIMNano SIMとmicroSD(最大128 GB)
接続性802.11a/b/g/n/ac、2.4GHz/5GHz Wi-Fi、Bluetooth 4.0
-アクティブノイズキャンセリング機能付きトリプルアレイマイク、ドルビーアトモス+ドルビーオーディオキャプチャー、5.1-3.5mmオーディオジャック
センサーGセンサー Pセンサー Lセンサー Eコンパス ジャイロスコープ ホールセンサー バイブレーター
シャンパンゴールド、ガンメタルグレー
アルミニウム合金(ユニボディ)
その他指紋スキャナー
価格499ドル、ロック解除済み(Lenovo、Amazon、B&H)

アプリとパフォーマンス

Tangoのベンチマークテストは不可能でしたが、この技術の真価を明確に理解するために、できる限り多くのTangoアプリを試してみました。Playストアには数十ものアプリがありますが、最も簡単に見つける方法は、スマートフォンに最初からインストールされているTangoアプリを使うことです。このアプリは、PlayストアのTangoアプリ特集エリアにリンクしています。少し探してみただけでも、いくつかは見つかりました。中には期待できるものもありましたが、説明文に「augmented(拡張)」のスペルミスがあるアプリなど、避けたものもあります。Tango対応の魅力的なアプリやゲームは既にいくつかありますが、中には期待外れのものもありました。

Tangoの現状の問題点の一つは(もし既にご存知でしたらここで止めてください)、アプリのエコシステムがかなり小さいことです。しかしながら、Tangoを搭載した唯一の市販デバイスがPhab 2 Proであることを考えると、Playストアに既に数十ものTangoアプリが存在していることは良い兆候と言えるでしょう。

現在、アプリは基本的に3種類あります。主にゲームアプリですが、ホームアプリやショッピングアプリ、そして開発ツールもいくつかあります。完成度の高いアプリもあれば、明らかにTangoの可能性を探るための実験として作られたアプリもあります。アプリの質は大きく異なります。

まず、全体的な使用感についていくつか注意点を述べます。Tangoは気まぐれです。アプリを使用するのに適した場所を見つけるのが難しかったです。明るすぎても暗すぎてもいけませんし、光沢のある表面やガラスはカメラが追跡できないので避けなければなりません。また、雑然としたものがあってもいけません。Tangoはシンプルで明確な境界を好みます。つまり、最良の結果を得るには、密閉された四角い部屋で、物はほとんどないか何もなく、天井に照明が一つある状態が良いでしょう。あなたの自宅やオフィスで、この条件に当てはまる部屋はいくつありますか?

私の散らかったオフィス(ええ、いつも散らかっています。ご容赦ください)は、Tango関連の作業には全く使えませんでした。せいぜいダイニングルームを使うくらいでしたが、今は改装中で空いています(上の動画でお気づきかもしれません)。しかし、実はこれが、テストしたアプリのいくつかにとって幸運なことに役立ちました。そのことについては後ほど詳しく説明します。

Tangoアプリの使用中に、一般的に数多くの問題が発生しました。Tangoアプリを2、3回続けて使用すると、ほぼ必ず端末を再起動しなければなりませんでした。アプリがクラッシュしたり、カメラが機能しなかったり、アプリの動作に不具合が生じたりしました。この不具合は特に厄介で、UIの不具合なのか、アプリ自体の不具合なのか、それともTangoの不具合なのかを判断しなければなりませんでした。アプリを再起動することで問題が解決することもありましたが、通常は端末を再起動する必要がありました。それでも問題が解決しないこともあり、再度再起動を繰り返しました。場合によっては、そのアプリは完全に壊れていると諦めて、先に進むしかありませんでした。

さらに、実際に使用したほぼすべてのアプリで、多少のずれがありました。通常、ゲームやアプリで提供されるアイテムを任意の場所に置いてドロップすると、その場所に固定されるようになっています。こうすることで、その場所を歩き回り、あらゆる角度から3Dで見ることができるのです。他のアプリでは、まず部屋全体をスキャンし、エリア学習データを用いてオブジェクトをより正確に配置していました。しかし、オブジェクト、家具、プレイスペースなどが正確に所定の場所に固定されることはありませんでした。例えば、複数の家具を部屋に置こうとすると、その空間はたちまち、挙動不審な仮想家具の寄せ集めになってしまいました。

ゲーム

私たちがプレイしたゲームはどれも革命的と呼べるものではありませんでしたが、3D とエリア ラーニング機能が基本的なゲームをいかに改善するかを確かに示すものもありました。たとえば、Fury of the Godsは単なるタワー ディフェンス ゲームですが、守っているものは 3D であり、世界をテーブルの上に配置したら、あちこち走り回って、山を登って寺院を破壊しようとする敵を撃ち殺すことができます。Slingshot Island は、基本的にAngry Birdsの 3D 版で、スリング ショットを使って物を倒します。ただし、魅力には欠け、物理演算はひどく遅いです。(ただし、10 分間そこに座って柱を倒そうとした後、立ち上がって部屋の中を歩き回り、さまざまな角度からショットを撮ることができることに気付きました。まったくの技術反対者です。)

良質なゲームの一つである「Domino World」は、最もシンプルなゲームの一つでもあります。エリアを選び、指でタップしてドラッグしてドミノの列を作り、ボタンをクリックすると、えーっと、ドミノ効果が始まります。物理演算は現実に限りなく忠実ですが、他のTangoアプリと同様に、配置したドミノの列がテーブル上の他のオブジェクトを認識しないこともあり、部屋の中を歩き回っても、配置した場所に正確に「くっつく」わけではありませんでした。

同じことは、Car Racing For Tango (CRT)Wild Wild RaceHot Wheels Track Builderなどのレーシング ゲームにも当てはまります。最初の 2 つは基本的に同じことを提供します。つまり、場所を選択し、トラックを構築し、その上で車を走らせます。すべてトップダウンのテーブルトップ視点です。トラックのピースを配置するのが難しいと感じました。デバイスが、表面を検出できない、前のトラックに近すぎる、などという警告を絶えず表示しました。ただし、トラックが構築されると、車でレースをするのは楽しいですし、3D トラックがあるため、運転中でもトラックの周りを歩き、さまざまな角度から物事を見ることができます。

Hot Wheelsは一風変わったゲームで、私たちが最も楽しんだゲームの一つでした。既存の表面にコースを重ねるのではなく、アプリ独自の3D環境を備えています。部屋の状況を学習するわけではないので、歩く場所を常に意識する必要がありますが、コースを構築するための広い作業スペースが提供されます。アプリの柔軟性は低く、コースはほとんどプリセットされていますが、ループ・ザ・ループやアクセルといったコースピースの種類が増えれば、コースを変更できます。しかし、そのおかげで、ゲーム体験はシンプルで正確です。各ステージでは、Hot Wheelsの車をスタントコースの端からゴールまで走らせる必要があります。このゲームは中毒性があります。

Ghostly Mansionのようなタイトルは、 Hot Wheelsと同じ3Dアプローチを採用しています。このゲームでは、プレイヤーは不気味な3Dルームに誘われますが、その部屋は周囲の環境に基づいて生成されるわけではありません。そのため、仮想の部屋を歩き回り、本棚を触ったり引き出しを探したりしてレベルクリアに必要なオブジェクトをいくつか見つけることはできますが、現実世界の家具や壁などにも注意を払う必要があります。ここでもドリフトが問題となります。たった一つの仮想の部屋を移動しようとすると、複数の現実の部屋をさまようことになります。

いくつかのゲームは明らかに、子供たちを楽しませることだけを目的としていました。たとえば、

-クレヨラ カラー ブラスターでは、白黒の「ゾンビ」に色をはねかけます。-バブルスでは、電話のスピーカーに息を吹き込んでシャボン玉を吹きます。-恐竜の中の恐竜では、さまざまな恐竜のホログラムを自分の物理的な空間に配置して、恐竜の詳細を見ることができます。-バグズ!バグズ!バグズ!では、画面をタップして虫を潰すタワー ディフェンス ゲームの一種です。-デンジャー ドジャースでは、ラマだったと思いますが、落石から遠ざけます。

...等々。

ゲームではない

もちろん、ゲームでも開発ツールでもないアプリも数多くあります。その多くはショッピングや家のリフォームを目的としていますが、前述の通り、私の場合はまさに理想的なアプリでした。というのも、私は最近、大規模なリフォームが必要な古い家に引っ越したばかりだったからです。そのため、リフォームのプロジェクトは山ほどあり、家具や床材など、まだ手に入れていない新しい空間を待ち望んでいるのです。

Lowe's Visionアプリは、私にとって最も便利なアプリの一つでした。ダイニングルームに戻りましょう。トリムと壁は塗装済みですが、床は交換が必要で、チェアレールの設置を考えています。また、まだ家具もあまり置いていません。アプリを使えば、Lowe'sの素材カタログを閲覧し、様々な種類の床材、チェアレールのサンプル、さらには家具まで、実際の部屋に重ねて表示できました。

ただし、この比較的安定したアプリでさえ、時折使いにくい点があることは留意しておくべきでしょう。前述の通り、Tangoは空間をすっきりと整理し、明るく照らし、しっかりとした線で表現することを要求します。仮想の床を敷き、チェアレールの見た目を確認したり、家具を配置したりしたかったのですが、この3つのアイテムを並べるだけでも何度も試行錯誤が必要でした。それでも、3つのアイテムはそれぞれの場所に留まろうとせず、空間内で互いに関連性を保ちませんでした。

Lowe'sのアプリは建築資材が揃っているので私にとって理想的でしたが、家具や家庭用品でも基本的に同じ機能を備えたアプリはいくつかあります。多くのアプリはウェブストアも併設されており、商品を選んで自分の空間にどのように見えるかを確認できます。

Gap Dressing Room Amazon Product Apollo Box もこのカテゴリーに多少該当しますが、それぞれ衣類、テレビ (そう、テレビだけですが)、雑貨に重点を置いています。

ただし、Gap アプリでは実際にエリア学習は必要ありません。自分の体のサイズやタイプにほぼ近いマネキンを選ぶだけで、さまざまなサイズの服が自分に似合うか、あるいは自分のサイズに近いマネキンに似合うかを確認できます。

Amazon商品アプリは、Amazonの試金石のように思えます。この巨大オンライン小売業者は豊富な商品ラインナップを誇っていますが、このアプリはテレビ専用です。しかし、この限定された用途には意味があります。特定のテレビが特定の空間にどのように見えるかを確認したいのであれば、このアプリを使えば部屋の寸法を測ってテレビの仕様を調べ、比較する手間が省けます。

まとめると、いくつかのアプリは正常に動作しませんでした。クラッシュやバグが多発し、期待通りの動作をしなかったアプリもありました。しかし、素晴らしいパフォーマンスを発揮し、非常に印象に残るアプリもありました。

全体的に見て、実装には改善の余地がたくさんあるように感じます。発熱を抑え、トラッキングの持続性を向上させ、クラッシュを減らし、スマートフォンの再起動を減らす必要があります。

Phab 2 Proを普段使いのスマートフォンとして数ヶ月間使ってきましたが、この記事を書くためのテスト以外ではAR機能をほとんど使っていませんでした。確かに、私はモバイルゲームをほとんどプレイしない、退屈な老人です。もちろん、他のユーザーはTangoのゲームに夢中になって最後までプレイするかもしれません。家のリフォームアプリは時々使いましたが、それでも1) 頻繁に使っていなかったことと、2) 家のリフォームは長くは続かないだろう(そう願っています)。

個人的に本当に欲しいのは、生産性向上アプリがもっと増えることです。だからこそ、Tango技術をスマートフォン本体から切り離す必要があるのか​​もしれません。

中途半端な対策

この記事の冒頭で述べたように、スマートフォン全般、特にLenovo Phab 2 ProにおけるTangoは、コンシューマー向けAR(およびMR)市場において、必要不可欠な中途半端な機能です。スマートフォンの視野角(FoV)は狭く、何かを操作するには大きな指で画面の大部分を遮ってしまいます。さらに悪いことに、スマートフォンは非常に重いため、片手で持ち、もう片方の手でタップやスワイプなどの操作をするのは困難です。

Tangoに必要なのは、手と指のトラッキングによる入力機能を備えたARグラス、あるいは少なくともDaydreamのようなコントローラーです。(視線入力と音声入力があればさらに大きなメリットになります。)私たちの意見では、スマートフォンとTangoを組み合わせるより効果的な方法は、TangoハードウェアをARグラスに搭載し、グラスをスマートフォンにケーブル(あるいはワイヤレス)で接続し、スマートフォンの強力な処理能力を活用することです。

これはおそらく後退を意味する。なぜなら、そのパラダイムでは、2 つ目のデバイス (メガネ) を持ち歩く必要があり、そのメガネに少しかさばる Tango カメラ アセンブリを搭載する必要があるからだ。

しかし、別の見方をすれば、このようなセットアップはGoogleのDaydreamの精神的な兄弟分となる可能性もある。実際、ハードウェアメーカーはDaydream VR HMDとTango ARグラスをセット、あるいは別々に搭載したスマートフォンを販売し、必要なユースケースに応じて、同じスマートフォンでどちらか一方を駆動させることも可能になるだろう。

ARが消費者にとって魅力的な理由の一つは、スマートフォンに内蔵されていればいつでも利用できるという点にあるという議論があります。部屋の寸法を測りたい時?公園で楽しいゲームをしたい時?お店で商品について何か確認したい時?ポケットの中に入っているスマートフォンを取り出すだけでいいのです。さらに、スマートウォッチ業界では、別のデバイスを持ち歩く必要があることが、消費者の普及という観点から深刻なデメリットとなることが分かっています。

確かにその通りですが、スマートフォンでARを使う際の煩雑さと、ユーザーエクスペリエンスの最適化が不十分であることを考えると、このトレードオフは今のところ割に合わないと考えています。Tangoのカメラアセンブリ部分を十分に小型化し、発熱を抑えてはるかに小型の端末に搭載できれば、組み込み型というアプローチには確かに価値があります。しかし当面は、TangoのAR機能を、ポケットの中のスマートフォンに接続されたメガネで体験することが、Tangoの進化における次の必要なステップだと考えています。

これはレノボを非難するものではありません。同社(そしてASUS)は、成功の保証がないデバイスを開発する勇気を称賛されるべきです。Phab 2 ProのようなTango対応スマートフォンで何ができて何ができないかを見てきた今、今後の道筋はより明確になっています。Phab 2 ProのTangoは中途半端であり、アプリもいくつかの点で中途半端ですが、どれも必要なものであり、新しく魅力的なテクノロジーと体験への道筋を示し、それらを導きます。

セス・コラナーは以前、トムズ・ハードウェアのニュースディレクターを務めていました。キーボード、バーチャルリアリティ、ウェアラブル機器を中心としたテクノロジーニュースを担当していました。