東京大学 石川妹尾研究室と東京工業大学 渡辺研究室による研究チームは、近赤外域高速法線計測システムで計測した法線から生成した映像を投影することで、マーカーや形状モデルなしに、液体や粘土などの複雑な変形を伴う物体へのダイナミックプロジェクションマッピングを実現する技術「MIDAS Projection」を発表しました。
論文：MIDAS Projection: Markerless and Modelless Dynamic Projection Mapping for Material Representation
著者：Leo Miyashita, Yoshihiro Watanabe, Masatoshi Ishikawa
所属：東京大学, 東京工業大学
本論文は、目に見えない近赤外域の光を用いて対象の法線を高速に計測するシステムと、計測した法線から高速に映像を生成するアルゴリズムを用いて、マーカーや形状モデルなしにダイナミックプロジェクションマッピングを行う手法を提案します。
昨今、対象物にぴったり張り付いているように投影するダイナミックプロジェクションマッピング技術が研究されていますが、従来のダイナミックプロジェクションマッピング技術では、 投影先の対象にマーカーを貼付する必要や、 対象形状にモデルを仮定する必要があり、事前の準備なしに対象に応じた投映を行うことはできませんでした。
この課題を解決するため、本提案手法では、近赤外域の３つの波長を利用した高速法線計測システムを構築し、法線を利用した高速シェーディングアルゴリズムを提案、動く対象の質感を、投影によって別の均一な質感や模様を持った質感に書き換えることを実現しました。
本提案手法は、対象に特別な準備を施す必要がないため、マーカーの貼付が難しい動物や食物、形状のモデル化が難しい水や粘土、たくさんの対象を含む魚の群れや木の葉など、 これまで対象とすることが難しかった物体にもぴったりと映像を投映し、あたかもその質感や形状が変化したかのような表現を実現することができます。