連載「プロジェクションマッピング技術の変遷」、前回は、複雑な光学現象、特に相互反射と焦点ぼけによる映像の乱れを補償する技術について解説しました。一方、複雑な光学現象のうち、表面化散乱による影響を軽減する技術についてはご紹介できていませんでしたので、今回はまずそれについて解説します。実は、実物体に投影された画素が、投影地点の色を局所的に変化させるだけでなくその周辺の色にも影響を与える、という点で、相互反射・焦点ぼけ・表面化散乱といった光学現象は共通しています（表面化散乱についての詳しい説明は1章に記載いたします）。今回、これらをまとめて大域照明効果と呼び、その影響を統一的に解消する色補償の枠組みについてもご紹介します。
目次
１ 表面化散乱補償
２ ライトトランスポート行列を用いた大域照明効果の一括補償
３ おわりに
参考文献
１ 表面化散乱補償
実物表面の1点に入射した光が、その内部で散乱して別の点から出射する現象を表面化散乱と呼びます（図1）。表面化散乱する物体の代表例は人の皮膚や蝋（ろう）が挙げられ、それらの質感を決める重要な要素となっています。実は、程度の差はあれ、ほとんど全ての身の回りの実物で表面化散乱が生じています。一般的に、表面化散乱の影響が大きいのは入射点の近くであり、そこから離れていくにつれて出射光量は減衰していきます。このことから、画質劣化の様子が前回ご紹介した焦点ぼけと似ており、両者は同じようにモデル化できます。つまり、焦点ぼけ補償と同様の技術を用いることで、表面化散乱の影響を軽減できます。実物表面にプロジェクタ1画素のみ光らせて投影し、その様子を観測すれば、その入射点における点拡がり関数（ Point spread function、PSF）を計測可能です。ドットパターン投影等を用いて全画素についてのPSFが得られると、前回ご紹介したような逆畳み込み演算を用いて補償画像を計算できます。
図2に、表面化散乱の影響を軽減した結果の例を示します [1]。この研究では、プロジェクションマッピングによってアンドロイドロボットの顔に皺（しわ）の模様を付与することで、見た目の年齢や表情の印象を操作することを実現しています。同図では、表面化散乱補償により、投影された皺がよりくっきりと視認できることが分かります。なお、この研究では、逆畳込み演算ではなく、次の章で説明するライトトランスポート行列を用いて補償画像を生成しています。
図2：アンドロイドロボットの顔への映像投影における表面化散乱補償（[1]より）
２ ライトトランスポート行列を用いた大域照明効果の一括補償
ある実シーンにプロジェクタから映像を投影し、観測者の目の代わりとして設置したカメラでそれを観測する系を考えます。プロジェクタのある1画素\(p_a\)を白、他の画素を黒として投影すると、実シーン中の1点（白画素の投影地点）が明るく観測されます。このとき、大域照明効果が生じていれば、その地点以外も明るくなります（図3）。今、カメラの2次元画素配列をラスタスキャン（左上から右下へと配列要素を参照する方法）して観測ベクトル\(c(p_a)\)とします。この観測ベクトルは、プロジェクタ画素\(p_a\)が実シーンに与える影響を、大域照明効果も含めて表しています。別の画素\(p_b\)を白、他の画素を黒とした場合は、その投影画素の影響を表す観測ベクトル\(c(p_b)\)が得られます。このように、すべてのプロジェクタ画素を一つずつ光らせて、それぞれの投影結果の観測ベクトルを取得しそれらをまとめると、一つの行列となります。この行列をライトトランスポート行列とよびます。カメラ画素をラスタスキャンしたベクトルを\(c\)、プロジェクタ画素をラスタスキャンしたベクトルを\(p\)、ライトトランスポート行列を\(T\)とすると、これらの関係は以下の式で表せます。
\(c = Tp\)…(1)これは、任意の画像\(p\)を投影したときに、どのような見え\(c\)が観測されるのかを大域照明効果による影響も含めて計算する式となっています。なお、ライトトランスポート行列の興味深い性質として、この転置行列を使うと、プロジェクタとカメラの関係を逆転させられる、という点があります。つまり、
$$p = T^t c$$を使って、カメラの位置から画像\(c\)を「投影」したときに、プロジェクタの位置で「観測」した際の実シーンの見えを計算できます [2]（図4）。
このライトトランスポート行列を用いることで、大域照明効果による影響を軽減した色補償が実現できます。具体的には、ライトトランスポート行列の逆行列\(T^{-1}\)と目標とする見え\(c_t\)の積が、その見えを表示するための投影画像\(p_t\)となります。
\(p_t = T^{-1} c_t\)…(2)
なお、ライトトランスポート行列\(T\)はフルランクではないときは、擬似逆行列\(T^+\)を計算して利用します。また、プロジェクタの輝度レンジ外の値（例：負の値）が計算される場合を考慮して、非負制約つきの最急降下法により最適な投影画像を求める手法も提案されています [3]。図5に、逆ライトトランスポート行列を用いた色補償結果を示します [4]。相互反射のみならず、透明物体の屈折による複雑な画像の乱れも補償できていることが確認できます。
図5: ライトトランスポート行列を用いた色補償（[4]より）
複数台のプロジェクタからの映像を実シーン上に重ね合わせることで、投影輝度を向上させたり、影を除去したり、解像度を向上させたりすることができます。そのようなシステムでは、重ね合わさったときに所望の見えになるよう、各プロジェクタのそれぞれの画素の色を適切に決定する必要があります。その計算にも、ライトトランスポート行列を利用できます。例えば、2台のプロジェクタを用いる場合、式(1)は以下のようになります。
$$c=\begin{bmatrix}L1&L2\end{bmatrix}\begin{bmatrix}p1\\p2\end{bmatrix}$$ここで、\(L1\),\(L2\)はそれぞれ、プロジェクタ1、プロジェクタ2とカメラとのライトトランスポート行列を表しています。また、\(p1\),\(p2\)は、それぞれプロジェクタ1、プロジェクタ2の投影画像のベクトルを表します。式(2)と同様、\(L1\)と\(L2\)を接続したライトトランスポート行列の擬似逆行列を求めることで、目標となる見え\(c_t\)を再現するためのプロジェクタ画像\(p1\),\(p2\)を求められます。図6に、複数台投影によって投影結果の解像度を向上させている例を示します [5]。
このように万能に見えるライトトランスポート行列ですが、その計測に膨大な時間がかかるという実装上の課題があります。最初に説明したように、同行列はプロジェクタ1画素を光らせたときの実シーンの見えを、全画素分集めたものになっています。このため、1画素についての計測時間が0.1秒と比較的高速な場合を想定しても、プロジェクタの画素数がFullHD（1,980×1,080）だとすると、単純計算で計測に60時間近く必要となります。そこで、計測時間を短縮する手法が提案されています。具体的には、大域照明効果は点灯画素照射地点の近傍にのみ影響を与えると考えられるため、影響を与えないほど離れた地点の複数の画素を同時に点灯させて、ライトトランスポート行列の複数列を並列に取得する技術が開発されています。[2] の研究では、578×680画素のプロジェクタについて、1画素ずつ計測する方法では計測に11日かかっていたところを、上記の高速化手法を適用することで2時間ほどまで短縮できた、と報告されています（とはいえ、計測時間が数時間かかる、というのは応用シーンをかなり限定すると考えられます）。一方、大域照明効果を表面化散乱や焦点ぼけに限定し、ライトトランスポート行列取得を少数のドットパターン投影のみで取得する研究もあります [1][5]。ライトトランスポート行列は、PSFを一般化したものです。このため、空間的になだらかにPSFが変化すると仮定した場合、一部のPSFを計測し、残りは補間することでプロジェクタ全画素についてのPSFを取得でき、ライトトランスポート行列に変換できます。1章で述べた表面化散乱補償では、このようにして取得したライトトランスポート行列を用いていました。また最近では、深層ニューラルネットワークを用いて、ライトトランスポート行列を潜在的に推定する研究が行われています [6]。この研究では、数百枚程度の画像投影によって、屈折や相互反射があるような光学的に複雑な実シーンでの色補償を可能にしています。
３．おわりに
今回はまず、複雑な光学現象のうち、前回ご紹介できていなかった表面化散乱による影響を軽減する技術について、焦点ぼけ補償との関係を示しつつ解説しました。次に、大域照明効果による影響の統一的な解決手法として、ライトトランスポート行列を用いた技術をご紹介しました。まだ計測に時間がかかるという問題があるものの、原理的には幅広い光学現象に対して用いることのできる万能手法であることが示されています。第4回目から3回続いた色補償技術のご紹介はこれで一段落となります。次回は、プロジェクションマッピングの適用範囲を広げる試みとして、プロジェクタそのものの技術制約を解消してその機能を向上させる技術についてご紹介する予定です。
次回：影の除去
参考文献
[1] A. Bermano, P. Brüschweiler, A. Grundhöfer, D. Iwai, B. Bickel, and M. Gross, “Augmenting Physical Avatars Using Projector Based Illumination,” ACM Transactions on Graphics, vol. 32, no. 6, Article 189, 2013.
[2] P. Sen, B. Chen. G. Garg, S. R. Marschner, M. Horowitz, M. Levoy, and H. P. A. Lensch, “Dual Photography,” ACM Transactions on Graphics, vol. 24, no. 3, pp. 745-755, 2005.
[3] L. Zhang and S. Nayar, “Projection defocus analysis for scene capture and image display,” In Proceedings of ACM SIGGRAPH, pp. 907-915, 2006.
[4] G. Wetzstein and O. Bimber, “Radiometric Compensation through Inverse Light Transport,” In Proceedings of Pacific Conference on Computer Graphics and Applications, pp. 391-399, 2007.
[5] D. Aliaga, Y. Yeung, A. Law, B. Sajadi, and A. Majumder, “Fast High-Resolution Appearance Editing Using Superimposed Projections,” ACM Transactions on Graphics, vol. 31, no. 2, Article 13, 2012.
[6] B. Huang and H. Ling, “DeProCams: Simultaneous Relighting, Compensation and Shape Reconstruction for Projector-Camera Systems,” IEEE Transactions on Visualization and Computer Graphics, vol. 27, no. 5, pp. 2725-2735, 2021.
#1「プロジェクションマッピング作品を通して見る技術課題」
１ 建築物へのプロジェクションマッピング
２ インタラクティブなプロジェクションマッピング
３ 動的プロジェクションマッピング
４ まとめ
#2「プロジェクションマッピングの多様なアプリケーション」
１ 照明の知能化
１．１ リビング照明の知能化
１．２ 作業空間の照明の知能化
２ 表面質感の編集
３ まとめ
#3 「幾何補正 (位置合わせ)」
１ 平面を対象とする場合の幾何補正
２ 立体面を対象とする場合の幾何補正
２．１ 対象面形状が既知の場合の較正
２．２ 対象面形状が未知の場合の較正
２．２．１ 事前プロカム較正アプローチ
２．２．２ 事前カメラ較正アプローチ
２．２．３ 自動較正アプローチ
３ まとめ
#4「色補償」
１ 準備
２ 簡易手法
３ 色変換行列手法
４ 非線形補間手法
５ ダイナミックレンジ制約の解消法
６ まとめ
#5「複雑な光学現象への対応（１）」
１ 相互反射補償
２ 焦点ボケ補償
２．１ 複数台投影アプローチ
２．２ 1台投影アプローチ
２．３ 投影光学系の工夫による１台投影における技術的限界の解消
３．まとめ
#6「 複雑な光学現象への対応（２）」
１ 表面化散乱補償
２ ライトトランスポート行列を用いた大域照明効果の一括補償
３ おわりに
#7「影の除去」
1 複数台のプロジェクタを用いた影除去
2 光学系の工夫による影除去
3 まとめ
#8「ハイダイナミックレンジ投影」
１ プロジェクタのダイナミックレンジ拡張
１．１ 単純に最大照度を上げてもダイナミックレンジは改善しない
１．２ 最小照度を下げてダイナミックレンジを拡げる技術
１．３ 最大照度向上と最小照度抑制によるダイナミックレンジ拡張技術
２ プロジェクションシステムのダイナミックレンジ拡張