電気通信大学の研究者らは、手で持って自由に動かせる物体に対してプロジェクションマッピングを実現する「Tangible Projection Mapping」を発表しました。
論文：Tangible Projection Mapping: Dynamic Appearance Augmenting Of Objects In Hands
著者：Yuki Morikubo, Eugene San Lorenzo, Daiki Miyazaki, Naoki Hashimoto
本研究では、一般的に普及しているプロジェクタを使って動的プロジェクションマッピングを実現するために、小型高速度カメラによるマーカレス高速物体追跡を実現しています。投影映像の影響を受けない赤外領域にて対象物体を撮影し、その輪郭情報と事前に用意した3次元モデルを対応づけることで、3次元位置姿勢を推定します。
GPUを活用した高速な輪郭マッチングと並列処理により、高精度な位置姿勢推定を300fps以上で実現します。この高速な追跡結果を用いて、プロジェクタやカメラといった各種機材の遅延や計算処理遅延を補償し、ズレの少ない動的プロジェクションマッピングを実現しています。
本研究での実装システムでは、上部にプロジェクタ（120fps）とカメラ（最大500fps）を設置し、机の上でユーザに把持された実物体に対してプロジェクションマッピングを実現します。投影映像によって実物体の見た目を様々に変化させ、テクスチャ変化や質感変化を様々な角度から体験できます。また、高速な物体追跡により、物体が素早く動いたり回転したりしても、一般的な操作であればプロジェクションマッピングを継続することができます。もちろん、複数のユーザで取り囲んで体験を共有することも可能です。