カーネギーメロン大学の研究者らは、光学シースルーHMDを用いて実世界の表面をタッチスクリーンにする仮想インターフェース「MRTouch」を発表しました。
論文：Supporting Responsive Cohabitation Between Virtual Interfaces and Physical Objects on Everyday Surfaces
著者：ROBERT XIAO,SCOTT HUDSON, CHRIS HARRISON
本稿は、光学シースルーHMD（ここではMicrosoft HoloLens）を使用して、壁や机などの環境内の表面をタッチスクリーンであるかのようなインターフェースとして直接操作することを可能にするアプローチを提案します。
システムは、絶えず目の前をスキャンし、動的に表面の位置を決めます。手と頭が動いている時でも確実に指の追跡を可能にするため、リアルタイムの検出と追跡、深度と赤外線のカメラストリームを組み合わせます。
追加のハードウェアやユーザまたは環境のキャリブレーションを必要としません。
このことで、机の表面をWebブラウザのように使用したり、壁をキャンパスに絵を描いたり。手のジェスチャや音声入力ではなく、物理的な表面に接触するという触覚付きで入力することを可能にします。また、複数指同時操作のマルチタッチも可能にします。