前回、プロジェクタの性能を向上させる技術についてご紹介する予定と述べましたが、それは次回に回すこととし、今回は「影」を取り上げます。プロジェクションマッピングでは、影は避けては通れない問題です。特に、プロジェクションマッピングされた対象に触れて投影コンテンツを切り替える、インタラクティブなシステムでは、コンテンツに触れようとすると投影光が遮られるため影が発生し、肝心のコンテンツが見えなくなってしまう、という状況が頻繁に生じます。光の直進性から、影領域にプロジェクタからの光を届けることはできないため、ソフトウェア補正では影を除去できません。以降では、複数台のプロジェクタを用いた影除去と、光学系の工夫による影除去の二つのアプローチについてご紹介します。
目次
1 複数台のプロジェクタを用いた影除去
2 光学系の工夫による影除去
3 まとめ
参考文献
１ 複数台のプロジェクタを用いた影除去
複数台のプロジェクタを、投影対象を取り囲むように分散配置し、それぞれの投影光が対象上で重なり合うようにします。こうすることで、あるプロジェクタからの光がユーザの身体などで遮蔽されたとしても、別の遮蔽されていないプロジェクタからその分を補償することができます。このような影を除去する研究の多くは、一般的な平面スクリーンを対象としたものですが、原理的には様々な形状の立体面を対象とするプロジェクションマッピングにも適用可能です。平面スクリーンに発生する影を除去する技術には、大きく分けて、スクリーン上の影領域を直接計測するものと、遮蔽物である観察者を計測するものの二つのアプローチが提案されています。
スクリーン上の影領域を計測するアプローチでは、観察者とスクリーンとの間にカメラを設置してスクリーンを撮影します[1]（図1）。カメラ視点での投影結果をシミュレーションし、それと実際の撮影結果とを比較することで、影領域を検出します。そして、影領域に投影しているプロジェクタの当該領域への投影をオフにして、別のプロジェクタからその領域に映像を投影するよう切り替えます。このアプローチは処理がシンプルである点がメリットですが、以下に示す3点の課題があります。まず、カメラを設置する場所の確保が難しいという点が挙げられます。カメラは必ず観察者とスクリーンの間になければなりませんが、観察者が投影対象に触れるようなインタラクティブなシステムでは、そのような場所は存在しません。次に、カメラ視点での投影結果のシミュレーションは、環境光の変動やカメラ・プロジェクタの設置位置のずれなどの外乱の影響を正確に再現することは難しく、正しく影領域を検出できなくなる可能性があります。さらに、原理上、投影面の各領域はプロジェクタ1台からしか投影できない、という制約があります。これは、複数のプロジェクタからの映像が重なり合っている場所が影領域として検出された場合、どのプロジェクタが遮蔽されているかわからないためです。これによって、異なるプロジェクタからの投影領域の境目では、投影領域間の重なりや切れ目という画質劣化が生じます。二つ目と三つ目の課題については、分散協調制御の枠組みで解決する手法が提案されてはいます[2]が、多くの研究が、もう一つのアプローチ、つまり、観察者を計測して影除去を行う技術の開発に注力しています。
事前にプロジェクタと投影面との位置姿勢関係が分かっていれば、スクリーン前の観察者の位置を計測することで、どのプロジェクタのどの領域が遮蔽されるかを計算して求めることができます。この計算はGPU上での並列計算が可能なCG（コンピュータグラフィクス）の処理パイプラインを活用することで高速に実行することができます。つまり、プロジェクタと投影面を設置したバーチャルなシーンに、計測した観察者を追加して、プロジェクタ視点でシーンをレンダリングして深度バッファを参照することで、遮蔽領域が求まります。観察者の位置を計測する方法としては、スクリーンに赤外光を照射して、プロジェクタと同位置に設置した赤外カメラで観察者のシルエットを取得する技術 [3]や、ステレオカメラを用いる技術 [4]、デプスカメラを用いる技術 [5]などが提案されています。これらの影領域を計算して求めるアプローチでは、上述の、スクリーンを観測して影領域を直接検出するアプローチで挙げた課題が解決可能です。まず、カメラの設置位置に制約はなくなります。そして、複数のプロジェクタからの映像を重ねることが可能となるため、境界部分でも2台の投影映像を徐々にブレンドしていくことで目立ちにくくすることができ、画質劣化を抑制できます（図2左）。
立体面での影除去でも、遮蔽物の位置を計測して投影対象上での影領域を計算するアプローチが有効であることがいくつかの研究で示されています。それらでは、投影対象として、これまでに述べたような大型の投影スクリーンではなく、手元の工業試作品など小型のものが設定されています。このため、遮蔽物も観察者の手など、比較的小型なものが想定されており、例えば、デプスカメラを用いて手の3次元姿勢を計測し、立体対象上の投影結果に現れる影を除去する技術が提案されています [6]（図2右）。また、投影対象自体が遮蔽物となるケースについても研究がなされています [7]。具体的には、複数の投影対象が空間内を自由に動き回る状況で、投影対象同士がプロジェクタを遮蔽し合う環境においても、影を除去する枠組みが提案されました。この研究では、投影対象の形状が既知で、各プロジェクタに対する位置姿勢が計測できる、という前提をおいています。このとき、投影対象の各点に対して、どのプロジェクタが遮蔽されていないかを計算し、それらのプロジェクタから投影可能な最大照度に応じてプロジェクタに入力する画素値を割り当てます（最大照度が大きいプロジェクタほど高い画素値を割り当てます）（図3）。
ここまで述べてきた技術は、いずれも1フレーム前の状態を使って、現在フレームでの影除去を実現するものです。このため、投影対象や遮蔽物が移動したときには、それによって新たに遮蔽が生じて影が現れてしまう可能性があります。そこで、移動したときに新たに遮蔽が生じにくいように、影領域に投影するプロジェクタを割り当てるルールが提案されています [8]。具体的には、影領域とプロジェクタのレンズ中心とを結ぶ直線と遮蔽物との距離が大きいほど、そのプロジェクタから多くの光をそこに投影するようにする、というルールです。これによって、遮蔽物の移動に頑健な影除去が達成できることが示されています（図4）。
２ 光学系の工夫による影除去
１節で述べた手法は、計算によって影領域を補償するアプローチでした。これに対し、光学系を工夫することで計算を用いずに影の発生しにくいプロジェクションマッピングを実現する技術をご紹介します。
無影灯と呼ばれる手術用の照明器具があります（図5）。光源が広く敷き詰められた傘のような照明です。この照明器具で患部を照らしているとき、術者の手が患部の上にあったとしても、一部の光源からの光のみを遮るだけで、他の光源からの光は患部に照射され続けるため、患部が完全に影になって見えなくなることがありません。つまり、プロジェクタからの投影光も、幅広い方向から対象に照射することで、影を生じにくくさせることができます。なお、１節で述べた複数台のプロジェクタを用いる方法は、限定された複数方向から対象を照射している、と捉えることができます。このように照射される方向が少ない場合は、一つのプロジェクタが遮られた場合の輝度減衰が大きいため、計算により他のプロジェクタの輝度を向上させて補償する必要がありました。これに対し、無影灯のように多方向から満遍なく対象に投影できれば、一部が遮蔽されても輝度減衰は大きくなく、計算による影補償が必要なくなると考えられます。
空中像提示で用いられている再帰透過光学系を用いることで、多方向からの映像投影が実現されています [9,10]。再帰透過光学系は板状の素子で、ある点から放射される光を、その面対象の位置に集光させる性質があります。その代表的な実装例としては、細い短冊状の鏡を敷き詰めた透明な板を2枚、鏡の向きが直交するように貼り重ねたものがあります（図6a）。直交する2枚の鏡で光源からの光を2度反射させつつ透過させることで、再帰透過を実現しています（図6b）。この素子を図6cに示すように設置して、その下部に投影対象をおきます。上部には、投影対象と面対象となる形状の物体（代理物体）を、ちょうど素子を挟んで面対象となる位置に設置します。これにより、代理物体上の見えが、投影対象に転写されるようになります。このため、代理物体にプロジェクタから映像投射することで、投影対象の見えを変調することが可能となります。大面積の再帰透過光学系を用いることで、多方向から光が対象に照射されるようになるため、観察者による遮蔽に対して頑健なプロジェクションマッピングを実現できます（図6d）。
３ まとめ
今回は、プロジェクションマッピングでは避けて通れない影の問題を扱いました。複数台のプロジェクタを用いる技術では、対象上の各点が必ずいずれかのプロジェクタから投影可能であるという状況を担保できるかどうかが、影除去の成否に関わります。このため、投影対象と観察者の位置関係がある程度予測できる場合は、プロジェクタの配置を最適化することも興味深いテーマとなります。再帰透過光学系を用いた影除去は、計算不要であるという利点がある一方で、投影対象と同じ大きさの代理物体を準備しなければならないことや、観察スペースをかなり制約してしまうという問題が残っています。今後も、光学系と計算アルゴリズムの両面で、影除去技術のさらなる高性能化に向けた研究・開発が進んでいくものと考えます。
次回は、プロジェクタの性能を向上させる技術として、投影照度のレンジを拡げるハイダイナミックレンジ投影についてご紹介します。
次回：#8「ハイダイナミックレンジ投影」
参考文献
[1] C. Jaynes, S. Webb, and R. M. Steele, “Camera-based detection and removal of shadows from interactive multiprojector displays,” IEEE Transactions on Visualization and Computer Graphics, Vol. 10, No. 3, pp. 290-301, 2004.
[2] J. Tsukamoto, D. Iwai and K. Kashima, “Radiometric Compensation for Cooperative Distributed Multi-Projection System Through 2-DOF Distributed Control,” IEEE Transactions on Visualization and Computer Graphics, Vol. 21, No. 11, pp. 1221-1229, 2015.
[3] J. Summet, M. Flagg, T.-J. Cham, J. M. Rehg, and R. Sukthankar, “Shadow Elimination and Blinding Light Suppression for Interactive Projected Displays,” IEEE Transactions on Visualization and Computer Graphics, Vol. 13, No. 03, pp. 508-517, 2007.
[4] S. Audet and J. R. Cooperstock, “Shadow Removal in Front Projection Environments Using Object Tracking,” In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2007.
[5] J. Kim, H. Seo, S. Cha, and J. Noh, “Real-Time Human Shadow Removal in a Front Projection System,” Computer Graphics Forum, Vol. 38, No. 1, pp. 443-454, 2019.
[6] V. Lange, C. Siegl, M. Colaianni, M. Stamminger, and F. Bauer, “Robust Blending and Occlusion Compensation in Dynamic Multi-Projection Mapping,” In Proceedings of Eurographics Short Papers, pp. 1-4, 2017.
[7] T. Nomoto, W. Li, H.-L. Peng, and Y. Watanabe, “Dynamic Multi-projection Mapping Based on Parallel Intensity Control,” IEEE Transactions on Visualization and Computer Graphics, Vol. 28, No. 5, pp. 2125-2134, 2022.
[8] D. Iwai, M. Nagase, and K. Sato, “Shadow removal of projected imagery by occluder shape measurement in a multiple overlapping projection system,” Virtual Reality, Vol. 18, pp. 245–254. 2014.
[9] K. Hiratani, D. Iwai, P. Punpongsanon, and K. Sato, “Shadowless Projector: Suppressing Shadows in Projection Mapping with Micro Mirror Array Plate,” in Proceedings of IEEE Conference on Virtual Reality and 3D User Interfaces (VR), pp. 1309-1310, 2019.
[10] K. Hiratani, D. Iwai, Y. Kageyama, P. Punpongsanon, T. Hiraki, and K. Sato, “Shadowless Projection Mapping using Retrotransmissive Optics,” IEEE Transactions on Visualization and Computer Graphics, 2023.
#1「プロジェクションマッピング作品を通して見る技術課題」
１ 建築物へのプロジェクションマッピング
２ インタラクティブなプロジェクションマッピング
３ 動的プロジェクションマッピング
４ まとめ
#2「プロジェクションマッピングの多様なアプリケーション」
１ 照明の知能化
１．１ リビング照明の知能化
１．２ 作業空間の照明の知能化
２ 表面質感の編集
３ まとめ
#3 「幾何補正 (位置合わせ)」
１ 平面を対象とする場合の幾何補正
２ 立体面を対象とする場合の幾何補正
２．１ 対象面形状が既知の場合の較正
２．２ 対象面形状が未知の場合の較正
２．２．１ 事前プロカム較正アプローチ
２．２．２ 事前カメラ較正アプローチ
２．２．３ 自動較正アプローチ
３ まとめ
#4「色補償」
１ 準備
２ 簡易手法
３ 色変換行列手法
４ 非線形補間手法
５ ダイナミックレンジ制約の解消法
６ まとめ
#5「複雑な光学現象への対応（１）」
１ 相互反射補償
２ 焦点ボケ補償
２．１ 複数台投影アプローチ
２．２ 1台投影アプローチ
２．３ 投影光学系の工夫による１台投影における技術的限界の解消
３．まとめ
#6「 複雑な光学現象への対応（２）」
１ 表面化散乱補償
２ ライトトランスポート行列を用いた大域照明効果の一括補償
３ おわりに
#7「影の除去」
1 複数台のプロジェクタを用いた影除去
2 光学系の工夫による影除去
3 まとめ
#8「ハイダイナミックレンジ投影」
１ プロジェクタのダイナミックレンジ拡張
１．１ 単純に最大照度を上げてもダイナミックレンジは改善しない
１．２ 最小照度を下げてダイナミックレンジを拡げる技術
１．３ 最大照度向上と最小照度抑制によるダイナミックレンジ拡張技術
２ プロジェクションシステムのダイナミックレンジ拡張