奈良先端科学技術大学院大学とカーネギー・メロン大学などによる研究チームは、光の反射による直接光と間接光の成分をリアルタイムに分離し、間接光の距離も選択的に取得できるイメージング技術を発表しました。
論文：Acquiring and Characterizing Plane-to-Ray Indirect Light Transport
著者：Hiroyuki Kubo, Suren Jayasuriya, Takafumi Iwaguchi, Takuya Funatomi, Yasuhiro Mukaigawa, Srinivasa G. Narasimhan
所属：Nara Institute of Science and Technology, Carnegie Mellon University, Arizona State University
本論文は、光源（プロジェクタ）から出射した光がシーン（物体など）に1度だけ反射してカメラに返ってくる1次反射（直接反射光）の成分と、2次反射（表面下散乱や屈折、相互反射など）して返ってくる間接光の成分とをリアルタイムに分離し、さらに間接光成分の距離も区別し取得できるイメージング技術を提案します。
シーンに照射する光は、直接反射光の他に表面下散乱から拡散反射や鏡面反射など、さまざまな光学現象を繰り返し伝播されることで視覚的外観に寄与します。これら光の伝播をライトトランスポートと呼び、カメラで捉え分析することで光学現象や物体の形状など、さまざまな情報を推定します。
ライトトランスポートの計測を通じて光の伝播を分析することでシーンの様々な性質を推定することが可能ですが、膨大な計測回数や時間、保存領域が必要になることが課題で、ライトトランスポートの成分を性質に応じて分離しそれぞれ個別に計測することが一般的です。本手法では、直接光と間接光の成分に分離し、加えて間接光に対して、近距離で生じたものか遠距離からのものかを区別して選択的に取得するアプローチを提案します。
本提案手法で用いるプロジェクタとカメラからなる計測システム
本提案で得られる光の伝播を「Plane-to-Ray トランスポート」と呼んでいます。具体的には、エピポーラ幾何に基づいて平行に置いた時間同期式のレーザープロジェクタとローリングシャッターカメラを用いた計測システムを使用して、シーンに対して上下にスイープしながら照明・撮影し、これらの同期遅延時間と露光時間とを制御することにより取得します。
このように取得したPlane-to-Ray トランスポートを分析することで様々な分野での応用が可能です。論文内では、シーンのリライティングや材質推定が紹介されます。材質推定とは、例えば、RGBカメラでは判別が困難な全て似たような外観の液体（無脂肪乳、2%低脂肪乳、全乳、ハンドソープ、練り歯磨き）を前にしたとしても、本提案を用いることで区別することができるといった応用です。
さらに、ごく短距離の間接光成分を取得することによって、皮下の血管をリアルタイムに可視化することも紹介されます。以下の図のように、通常の照明による見え具合よりも、肌の内部の血管がよく見ることを可能にする応用です。
左が通常の画像、右が本提案手法の画像。右の方がよりくっきりと血管を確認することができる
このように、Plane-to-Ray トランスポートを用いることで、メディカルイメージングへの応用など、多様な分野での新たな可能性を導きます。