これまでの連載では、身の回りの実対象に映像投影した際に生じる様々な画質劣化を補償する技術について解説してきました。これは、誤解を恐れずに単純化して表現すると、いかにマイナスをゼロに近づけるか、ということを目的としたものでした。対して今回は、投影画質をプラスに転じる技術に着目します。具体的には、通常のプロジェクタを用いて白色スクリーン上に映像を投射する場合と比べて、より高いコントラストでの映像投影を可能とするハイダイナミックレンジ（High Dynamic Range: HDR）投影技術について解説します。なお本稿では、あるプロジェクションシステムの能力を表す指標として、表示可能な最小輝度と最大輝度の比率をダイナミックレンジと呼び、ある特定の投影結果における最小輝度と最大輝度の比率をコントラストと呼びます。
目次
１ プロジェクタのダイナミックレンジ拡張
１．１ 単純に最大照度を上げてもダイナミックレンジは改善しない
１．２ 最小照度を下げてダイナミックレンジを拡げる技術
１．３ 最大照度向上と最小照度抑制によるダイナミックレンジ拡張技術
２ プロジェクションシステムのダイナミックレンジ拡張
３ まとめ
参考文献
１ プロジェクタのダイナミックレンジ拡張
プロジェクタの最大照度を
、最小照度を
とすると、そのダイナミックレンジは
… (1)
となります。プロジェクタに単一黒色画像を入力しても、投影光の照度は完全にゼロとはなりません（つまり、
）。これは、プロジェクタ内の空間光変調素子（SLM: Spatial Light Modulator）である液晶パネル等が、光源からの光を完全に遮蔽できないことや、プロジェクタの光路内で生じる散乱などに起因します。式1から、プロジェクタのダイナミックレンジを拡げるには、(1) 最大照度を上げる、(2) 最小照度を下げる、もしくは、(3) その両方（最大照度を上げつつ、最小照度を下げる）を行えばよいということが分かります。
１．１ 単純に最大照度を上げてもダイナミックレンジは改善しない
最大照度を上げることは、プロジェクタに採用する光源の明るさを上げることで達成できますが、ダイナミックレンジ拡張には繋がりません。その理由を、光源・SLM・レンズの三要素からなる単純化したプロジェクタを例に説明します（図1）。まず、光源とレンズの間に、光源からの光のエネルギーをロスなく拡散させる理想的な板を差し入れたときのプロジェクタの照度を
とします。次に、その板をSLMに取り替え、光源から入射する光の内、白色画像を入力したときにSLMを透過する光の割合を
、黒色画像を入力したときに透過する光の割合を
とします
。このとき、最大照度と最小照度はそれぞれ、
… (2)
となり、ダイナミックレンジは
…(3)
と、SLMのダイナミックレンジのみに依存することが分かります。つまり、原理的に光源の明るさはダイナミックレンジを向上させることには寄与しません。
１．２ 最小照度を下げてダイナミックレンジを拡げる技術
一方、これまでの研究から、SLM側を工夫して最小照度を下げることが、ダイナミックレンジ拡張に有効な手段であることが明らかになっています。具体的には、SLMを2枚連ねることで、光源からの光を二度遮蔽する、二重変調 (Double Modulation) 技術が用いられています [1,2,3]。SLMには振幅変調タイプと位相変調タイプがあり、ここで紹介する技術では振幅変調タイプが用いられています。振幅変調タイプのSLMは、光源からの一様な光を、画素毎に適切な割合で遮蔽して光分布を画像化するもので、先述の液晶パネルに加えて、DMD（Digital Mirror Device）、反射型液晶（LCoS: Liquid Crystal on Silicon）が使われています。
例として、液晶パネルのような透過型のSLMを考えます（図2）。SLMが1枚の場合、プロジェクタのダイナミックレンジは式3の通りです。一方、同じSLMを2枚重ね、その双方に白色画像を入力した場合、通過する光の割合は
となります。また黒色画像を入力したときは、
となります。このため、SLMを2枚重ねた場合、プロジェクタのダイナミックレンジは
…(4)
となります。上述の通り
ですから、式3よりも式4のダイナミックレンジが大きくなることが分かります。最終的に投影される画像の各画素の照度は、SLMの透過率の掛け算で決まりますので、各SLMに入力すべき画素値
は、目標となる画像の画素値を
とすると、
…(5)
と計算して求めます。
プロジェクタとして実装された光学系を図3に示します [2]。光源からの光が、まずRGB各色を担当するSLMを通り、その後、グレースケールのSLMを通る構成となっています。このとき、前段の色成分用のSLMの画素数は、後段の輝度成分用のSLMの画素数よりも低いものが利用されています。これは、色成分を輝度成分ほど空間的に細かく知覚できないという、人の視覚特性を利用しており、製造時のコスト削減に寄与すると期待できます。図3に示される投影結果より、二重変調時の投影結果のコントラストは、それぞれ片方のSLMのみを使用した場合と比べて高くなっていることが分かります。実験によって、ダイナミックレンジが1,000:1程度から1,000,000:1程度と、1,000倍も高くなったことが確認されています。
一方、最小照度を下げるこのアプローチには、投影できる最大照度も低下してしまう、という課題があります。式4に関わる議論で述べたように、白色画像を入力した場合に通過する光の割合は
であり、これは空間光変調素子が一枚の場合の割合よりも小さな値となります（
のため）。この課題を解決するには、本節冒頭で述べた三つ目の戦略「最大照度を上げつつ、最小照度を下げる」が実現できればよいのですが、本当にそんな都合の良いことが可能なのでしょうか。
１．３ 最大照度向上と最小照度抑制によるダイナミックレンジ拡張技術
Dambergらは、実に巧妙な仕組みによって、最大照度向上と最小照度抑制を同時に達成するダイナミックレンジ拡張を実現しました [4]。1.2節で述べた二重変調技術の基本アプローチは、振幅変調タイプのSLMを二つ用いて光源からの光を二度遮蔽する、というものでした。これに対し[4]の研究では、SLMを二つ用いるという点は踏襲しつつも、一つ目の素子を位相変調タイプに切り替え、その役割を「光源からの光を遮蔽する」ではなく「その向きを変える」とすることを提案しています。具体的には、画像の暗部に照射されていた光を明部に振り向け、暗部をより暗く、明部をより明るく表示する、というものです。二つ目の素子は、これまで通り振幅変調タイプであり、振り分けられた光分布を最終的に画像化します（図4）。
図5に実装された光学系を示します。位相変調タイプの空間光変調素子として、LCoSが用いられています。同図に示す投影結果から、最大輝度の向上と最小輝度の抑制（反射率一様な投影面のため、最大照度向上と最小照度抑制と同意）が確認できます。この例では、最大輝度は40 cd/m²から400 cd/m²と10倍増大し、コントラストも60:1から13,000:1と200倍以上高くなっていることが確認されています。
２ プロジェクションシステムのダイナミックレンジ拡張
プロジェクタが他のディスプレイと本質的に異なる点として、ディスプレイ装置単体ではなく、投影面および環境照明も画質に影響を与える、ということが挙げられます。つまり、プロジェクションマッピングの体験という観点からは、プロジェクタに加えて投影面および環境照明もひっくるめたプロジェクションシステム全体のダイナミックレンジについて考える必要があります。
プロジェクションシステムのダイナミックレンジをモデル化します。今、投影面の反射率は一様に
と仮定します 
。同様に、環境照明も投影対象に対して一様に照度
で入射していると考えます。このとき、プロジェクタから最大照度で投影面を照射したときの投影結果の輝度は
となり、最小照度の際は
となります。このため、プロジェクションシステムのダイナミックレンジは、
…(6)
となります（図6左）。以降の説明用に、あえては約分していません。この式から、反射率一様な一般的な投影スクリーンの場合、環境照明によってダイナミックレンジが低下させられる、ということが分かります。
プロジェクションシステム全体のダイナミックレンジを拡大する技術として、投影面の反射率を空間的に変調するアプローチが提案されています（図6右）[5]。これは、投影面を後段のSLMとみなした二重変調技術です。今、投影面の最大の反射率を
、最小の反射率を
とすると、プロジェクションシステムのダイナミックレンジは、
…(7)
となり、式6のときと比べてダイナミックレンジを広げられることが分かります。
反射率変調の最も単純で簡便な実装方法は、印刷です。平面かつ静止画という制約はありますが、図7に示す実験結果から、高いコントラストでの画像表示が実現できていることが確認できます。なお、フルカラーの3Dプリンタを用いれば平面の制約は克服できます（図8）。また、静止画制約についても、平面であればe-inkディスプレイを用いることで克服できます。また、立体面であっても、紫外線チェッカーとして用いられるフォトクロミック材料を投影対象に塗布し、紫外線を空間的に制御して照射することで、投影対象の反射率を動的に変調できるため、静止画制約はクリアできます [7]。e-ink、フォトクロミック材料ともに、現状では時間応答性が十分に高くないことが技術的課題ですが、自然動画は連続する複数フレーム間で輝度分布の変動が少ないという特徴から、ある固定の最適な反射率分布を計算することで、これら一連のフレーム全てを高コントラスト化するという技術も提案されています [8]。
３ まとめ
今回は、プロジェクタおよびプロジェクションシステム全体のダイナミックレンジを拡げるHDR投影技術について解説しました。その基本戦略は二重変調であり、光源からの光を二度遮蔽することで最小照度を抑える方法、暗部から明部へと光を振り向けることで最大照度向上と最小照度抑制を同時に達成する方法、そして、投影対象の反射率分布を変調することでプロジェクションシステム全体のダイナミックレンジを向上させる方法をご紹介しました。HDR投影技術は、これまでに解説した色補償や大域照明効果を補償する技術と組み合わせることで、単に映像表現の質を向上させるにとどまらず、より高い画質が求められる質感表現をも可能にします。次回は、このプロジェクションマッピングによる質感表現という、高い目標を達成する際にキーとなる動的プロジェクションマッピングの技術についてご紹介する予定です。
参考文献
[1] A. Pavlovych, W. Stuerzlinger, “A High-Dynamic Range Projection System,” Proceedings of SPIE, vol. 5969, 2005.
[2] Y. Kusakabe, M. Kanazawa, Y. Nojiri, M. Furuya, and M. Yoshimura, “A YC-separation-type projector: High dynamic range with double modulation,” Journal of the Society for Information Display, vol. 16, pp. 383-391, 2008.
[3] G. Damberg, H. Seetzen, G. Ward, W. Heidrich, and L. Whitehead, “3.2: High Dynamic Range Projection Systems,” SID Symposium Digest of Technical Papers, vol. 38, pp. 4-7, 2007.
[4] G. Damberg, J. Gregson, and W. Heidrich, “High Brightness HDR Projection Using Dynamic Freeform Lensing,” ACM Transactions on Graphics, vol. 35, no. 3, Article 24, 2016.
[5] O. Bimber and D. Iwai, “Superimposing dynamic range,” ACM Transactions on Graphics, vol. 27, no. 5, Article 150, 2008.
[6] S. Shimazu, D. Iwai, and K. Sato, “3D high dynamic range display system,” In Proceedings of IEEE International Symposium on Mixed and Augmented Reality, pp. 235-236, 2011.
[7] S. Takeda, D. Iwai, and K. Sato, “Inter-reflection Compensation of Immersive Projection Display by Spatio-Temporal Screen Reflectance Modulation,” IEEE Transactions on Visualization and Computer Graphics, vol. 22, no. 4, pp. 1424-1431, 2016.
[8] B. R. Jones, R. Sodhi, P. Budhiraja, K. Karsch, B. Bailey, and D. Forsyth, “Projectibles: Optimizing Surface Color For Projection,” In Proceedings of ACM Symposium on User Interface Software and Technology, pp. 137–146, 2015.
#1「プロジェクションマッピング作品を通して見る技術課題」
１ 建築物へのプロジェクションマッピング
２ インタラクティブなプロジェクションマッピング
３ 動的プロジェクションマッピング
４ まとめ
#2「プロジェクションマッピングの多様なアプリケーション」
１ 照明の知能化
１．１ リビング照明の知能化
１．２ 作業空間の照明の知能化
２ 表面質感の編集
３ まとめ
#3 「幾何補正 (位置合わせ)」
１ 平面を対象とする場合の幾何補正
２ 立体面を対象とする場合の幾何補正
２．１ 対象面形状が既知の場合の較正
２．２ 対象面形状が未知の場合の較正
２．２．１ 事前プロカム較正アプローチ
２．２．２ 事前カメラ較正アプローチ
２．２．３ 自動較正アプローチ
３ まとめ
#4「色補償」
１ 準備
２ 簡易手法
３ 色変換行列手法
４ 非線形補間手法
５ ダイナミックレンジ制約の解消法
６ まとめ
#5「複雑な光学現象への対応（１）」
１ 相互反射補償
２ 焦点ボケ補償
２．１ 複数台投影アプローチ
２．２ 1台投影アプローチ
２．３ 投影光学系の工夫による１台投影における技術的限界の解消
３．まとめ
#6「 複雑な光学現象への対応（２）」
１ 表面化散乱補償
２ ライトトランスポート行列を用いた大域照明効果の一括補償
３ おわりに
#7「影の除去」
1 複数台のプロジェクタを用いた影除去
2 光学系の工夫による影除去
3 まとめ
#8「ハイダイナミックレンジ投影」
１ プロジェクタのダイナミックレンジ拡張
１．１ 単純に最大照度を上げてもダイナミックレンジは改善しない
１．２ 最小照度を下げてダイナミックレンジを拡げる技術
１．３ 最大照度向上と最小照度抑制によるダイナミックレンジ拡張技術
２ プロジェクションシステムのダイナミックレンジ拡張