先日、サンフランシスコで開催されたGoogleの開発者向けカンファレンスGoogleI/O 2016にて、Google’s Project Tangoの最新レポートが報告・デモが行われました。
ステージの様子は、Google Developers YouTubeアカウントにて録画を見ることができます。なお、詳しい機能の説明に関しても公式サイトで確認できます。
Project Tango 3つのコア技術
- Motion tracking（Tango搭載デバイスを持って移動すると、デバイスがその動きを追跡し理解することができる機能です。詳しくはこちら。）
- Depth Perception（赤外線センサーなどを使用して物体までの距離・奥行きを把握することができる機能です。詳しくはこちら。）
- Area Learning（Tango搭載デバイスに空間の重要な視覚的特徴を覚えさせて、後で再びその領域を認識することができる機能です。詳しくはこちら。）
今回の基調講演では、3つ目のArea Learning（エリア ラーニング）、つまり空間学習を強調し説明していました。
Area Learningとは
人間は一度見た空間（エリア）をどの物体がどの位置に配置されているのかなどの膨大なデータを学習し、再度その空間を見たときにここは知ってる空間だと認識することができます。それを可能にするのがArea Learning技術です。
Area Learningをオンにすると、Tango搭載デバイスのカメラから見える特徴的な物体（ランドマーク）をいくつか記憶し学習します。公式サイトの解説では、データを保存すると表現しており、収集したデータをArea Description File（ADF）とも表現しています。そして、再び同じ空間に行くと保存されたADFを読み込み、前見たぞと認識するという流れです。
Motion trackingだけでは毎度ゼロから始まるところを、Area Learningが加わると一度記憶した場所はゼロから始まらず記憶の上でMotion trackingが開始されるイメージです。
点群で保存される
ADFは、写真のように画像で保存されるのではく、大量の点で物体を記憶します。保存されたADFを読み込み出力する時も記憶した点をロードします。
（会場ステージ上でデモされた時の様子。黄色い点群で空間を記憶している。）
角度を変えても認識する
Area Learningは、2つのことを記憶します。1つは点群に見るランドマーク、もう1つは数学的記述（同じ空間であれば見てる角度が任意でも配置関係・距離を計算し同じ場所だと認識する技術）です。人間もそうですが、場所を記憶すると、その場所をどの角度から見てもその場所だと認識することができると思います。それと同じです。
Drift corrections
Area Learningは、もう1つ大きな効果として「Drift corrections（もしくはLoop closures）」が上げられます。
Drift correctionsとは、Motion trackingだけでは補えない微妙なズレ/誤差を補正する効果のことです。前見た（通った）道を参考にし多少のズレを調整して本当の道を見つけてくれる感じで、Area Learningがオンになっていると、下記図のように少しの誤差であれば（緑の線に）訂正してくれるという効果です。
Area Learningがうまく機能しない事例
ステージでは、Area Learningがうまく機能しない事例をいくつか紹介していました。
- 整頓されていない散らかった部屋
- 昼の部屋と夜の部屋が光の強さによって違う場合
- 逆光によって違う部屋になる場合
- 観客がいる空間の場合といない空間の場合の差が大きい場合
- 白で統一された部屋
（整頓されてる方が記憶されやすい）
上記環境だと記憶の精度が落ちるそうです。
Area Learningの使用例1
2つ紹介されています。1つはARへの活用です。ショッピングモール内を一度ADFとしてすべて記憶させ、建物内Googleストリートビューみたいな感じで3Dマッピングします。すると、ユーザーが買い物に来たときにADFを出力しそこへARとして重ね合わせることを実現します。例えば、案内となる道標を重ね合わせたりといった具合です。
そういうことができるなら、AR広告も出せるはずと想像します。（過去に書いた記事現実世界にVR/ARがシームレスに混ざり合った未来都市を描く短編映画「Hyper-Reality」に見るAR広告満載の未来都市に通ずるものがあります）
Area Learningの使用例2
Area Learningで記憶したデータADFは、共有することができます。共有できると何が可能か。複数人が同じVR空間をポジショナルトラッキング含めた共有を可能にします。テストでは、3人がTango搭載デバイスをVRヘッドセットのように装着し同じ空間を共有していました。
Tango搭載スマートフォンは今年後半リリース
Lenovoと提携してTangoタブレットを開発者向けに開発する一方で、消費者向けスマートフォンは2016年後半にリリースする予定だと発表しました。
ADF作成方法
ADFを作成するには、2つ方法があります。1つはProject Tango Explorer（ダウンロード可）というアプリケーションを使うこと、2つ目はすべてのアプリで機能させるためにProject Tango APIを使用することです。どちらもADFの学習、保存、読み込みを処理します。
Seamless選考過去関連記事
Project Tangoを使って家具のサイズなどを現実世界に重ね合わせてからオンライン購入できるアプリ「Wayfair」をデモした時の様子です。Google’s Project Tango、家具を現実世界と重ね合わせ寸法をシミュレーションしてからオンライン購入するアプリ「Wayfair」を披露