東京大学、隣り合って離れた2人が「触覚付きAR」を裸眼と素手でリアルタイムに空中操作できる超音波ベースの視触覚クローンシステムを論文にて発表

東京大学篠田・牧野研究室の研究者らは、隣り合って離れた2人が触覚付きARを利用しながら触覚付きのコミュニケーションをリアルタイムにとることができるシステム「HaptoCloneAR（拡張現実視触覚クローン）」を論文にて発表しました。

本稿は、同研究室が2015年に発表した「Haptoclone（視触覚クローン）」の後継システムとして発表されました。したがって、先にHaptocloneの理解が必要になります。

Haptoclone（視触覚クローン）とは

Haptocloneとは、隣り合って離れた2人が触覚情報と視覚情報を3Dクローンによって空中でインタラクションするシステムです。

実オブジェクトの触覚と視覚のクローンを相手側にリアルタイムで生成し、両ユーザはそれらを素手と裸眼でリアルタイムに触れ合うことができます。

（左が視覚と触覚のクローンで、右が実物。クローンに触ると触覚を得られる。）

システムは、空中超音波触覚ディスプレイ（AUTD）、MMAP、kinect2を組み合わせた構造からできており、物体形状はデプスセンサで計測し、光のクローンはマイクロミラーアレイで再現し、接触力は空中超音波で再現します。

このことで、A地点の物体が、B地点でクローンとして視覚と触覚がコピーされ、両ユーザが触覚フィードバック付きでリアルタイムにコミュニケーションすることを可能にします。

例えば、A地点に紙風船をセットすると、B地点にも光で生成された紙風船クローンが表示され、B地点のユーザが紙風船クローンを指で突っつくとA地点のリアル紙風船も動くといった感じで、触覚付きの双方向性が生まれます。

（右がリアル紙風船があるA地点、左が紙風船クローンが表示されたB地点。B地点の紙風船クローンを指で突っつくとA地点のリアル紙風船が連動して動く。）

本研究であるHaptoCloneARは、上述したHaptocloneに加えて、2人のユーザ間に仮想ディスプレイを空中に表示し、お互いの顔や3Dクローンなどに重畳して様々な触覚付き映像を表示することを可能にする提案です。

（相手の顔に重なり合わさるように仮想ディスプレイが空中に表示されている様子。触ると触覚を得られる。）

システムは、空中超音波触覚ディスプレイ（AUTD）、MMAP、kinect2に加えて、ハーフミラーとディスプレイが設置され、3Dクローンにスーパーインポーズしたスクリーンを実現します。

例えば、デモ映像でも紹介されているトランプゲームアプリを見てみると、仮想ディスプレイに表示されたトランプを指で押して操作している様子が映し出され、顔に重なりながらプレイしている様子が見て取れます。

この時、両ユーザの指同士が触れ合った時に触覚を感じるのはもちろん、トランプを触った瞬間にも触覚を感じます。つまり、仮想ディスプレイも触覚フィードバックを持ち合わせているということです。

このことで、隣り合って離れた2人が触覚付きのコミュニケーションを素手と裸眼でとることができるのに加えて、仮想ディスプレイを使って触覚付きARといった応用も可能になったということです。

デモ映像では、トランプゲームの他にも、電話をかけたり、2人で絵を描いたり、いろんなエフェクトで遊んだりしている様子を確認することが出来ます。