トロント大学と大阪大学の研究チームは、遠隔のドローン（UAV, 無人航空機）をハンドジェスチャで操作し、伸縮する仮想ハンドと超音波ベースの触覚フィードバックを用いて遠隔地を探索できるVRシステムを発表しました。
論文：FlyingHand: extending the range of haptic feedback on virtual hand using drone-based object recognition
著者：Tinglin Duan, Parinya Punpongsanon, Daisuke Iwai, Kosuke Sato
所属：University of Toronto, Osaka University
（a）ユーザがハンドジェスチャでドローンを操作する様子（b）ドローンが飛行して対象物の画像を取得する様子（c）取得された遠隔環境を探索するために仮想ハンド使用している様子
本論文は、ドローンと仮想ハンドを用いて遠隔地の環境を探索するVRと統合したシステムを提案します。本提案手法は、ユーザがハンドジェスチャを使用してドローンを操作し、触覚フィードバックを通じて関心対象（Objects of Interest, OOI）に触れた感覚を提示することを可能にします。
ユーザは、ドローンにより撮影される画像から遠隔の映像を確認し、小型のモーションコントローラから手のジェスチャを介して操作します。加えて、表示される仮想ハンドを確認しながら、上腕の長さを伸び縮みさせることによって環境を探索し、さらに、対象物に触った感触を超音波アレイから受け取りながら探索することができます。また、ドローンの取得画像から遠隔環境の形状情報を取得するためにdeep learningを用いています。
実験では、ドローンにRyze Tech TELLを採用し、これに反射マーカを取り付けることで、OptiTrack Flex13カメラからトラッキングします。そして、HMDにOculus Rift DK2、手の追跡にLeap Motion、触覚フィードバックにUltrahaptics Array Development Kitsを用いて、遠隔地の映像と触覚フィードバックを可能にします。