はじめまして。岩井大輔と申します。私は大阪大学の基礎工学研究科に所属し、工学的な立場からプロジェクションマッピングをテーマに15年近く研究をしています。この「プロジェクションマッピング技術の変遷」という連載では、私がこれまでの活動の中で見聞し、また研究開発してきた様々な技術を、万遍なく（を心がけたいですが、それなりに偏ったものになってしまうかもしれません）かつ詳しくご紹介することができればと思っています。第1回目の今回はまず、世の中で注目を集めたプロジェクションマッピング作品を題材に、本連載でご紹介していく技術課題に光を当ててみたいと思います。
なお余談ですが、従来、研究者の間では、プロジェクタを用いて身の回りの様々な面に映像投影することを、いわゆるAR (Augmented Reality, 拡張現実感) やMR (Mixed Reality, 複合現実感) 技術の一形態と見なして、投影型ARなどと呼んでいました。このため、プロジェクションマッピングという用語については、私も当初、違和感があり積極的に使用しない時期がありました。しかしながら最近では海外の研究者含め、多くの研究者・技術者の方々が、これらの用語を特に使い分けること無く使用しており、私も今では抵抗なく使っています。学問に携わるものとしては、言葉に細心の注意を払うべきとは思いますが、現在のこのような状況をふまえ、本連載ではこれらを同じ意味の用語として使用します。
目次
１ 建築物へのプロジェクションマッピング
２ インタラクティブなプロジェクションマッピング
３ 動的プロジェクションマッピング
４ まとめ
参考文献
1 建築物へのプロジェクションマッピング
プロジェクションマッピングというと真っ先に思い浮かべるのが、2012年に行われた東京駅へのプロジェクションマッピング (TOKYO STATION VISION) ではないでしょうか。これまで日本では馴染みの無かったプロジェクションマッピングという表現形態を、多くの人々に一気に知らしめた画期的なイベントでした。
このプロジェクションマッピングを映像制作されたP.I.C.S.のホームページ には、46台のプロジェクタを用いて広大な東京駅丸の内駅舎の壁（幅120m×高さ30m）へ映像を投影したと書かれています。プロジェクタから投射される画面サイズは、プロジェクタからの距離が離れれば離れるほど大きくなるので、プロジェクタ1台のみでも駅舎全体に投影することは可能です。一方、画面サイズが大きくなればなるほど、逆に投影映像は暗くなってしまいますし、画素サイズが大きくなってしまうため空間解像度が下がってしまいます（いずれも、距離の二乗に反比例します）。すなわち、複数台で映像投影することで、広い投影範囲を確保しつつ明るく解像度高いプロジェクションマッピングが可能となります。
このような複数台を用いたプロジェクションマッピングにおける技術課題について考えてみます。まず、複数台から投影された映像を、ときには平面ではない複雑な形状をした立体面上で位置合わせするため、面上の各点にはどのプロジェクタのどの画素が投影されているのか、という情報を把握する必要がありますし、それぞれのプロジェクタは同機種であったとしても色（白色点やダイナミックレンジ）がずれている場合があるので、プロジェクタ間の色合わせが必須です。これらは大変煩雑で時間のかかる作業となります（なお、位置合わせは、プロジェクタ1台であっても大変な作業です）。さらに、隣り合う投影領域の継ぎ目が見えないよう、それぞれ少しずつ重なり合うように配置しますが、このとき重なり合った領域を目立たせないよう、それぞれ縁に向かって徐々に暗くするようなブレンディングと呼ばれる処理が必要です。また、上の東京駅は漆喰とレンガの色のコントラストが大変美しい建物ですが、このように、私達の身の回りのほとんどの物体面には模様がついています。模様付きの面に映像を投影すると、投影結果にその模様が浮かび上がってしまいます。このため、模様をキャンセルするような色補償の技術が必要となります。
2 インタラクティブなプロジェクションマッピング
次に、チームラボ株式会社が、日本だけでなく世界各国においてもロングラン展示を続けられている「お絵かき水族館」を取り上げます。こちらは、子どもたちが塗り絵をした魚の絵が、スキャンされて壁に投影されているバーチャル水槽で泳ぐ、という作品で、投影されているエサ袋に触れると魚を呼び寄せることができるなど、インタラクティブな仕組みも組み込まれています。子どもたちが夢中になって自分が色付けした魚を追いかける姿が印象的な作品です。
このようなインタラクティブなプロジェクションマッピング作品では共通して、観察者が投影映像に近接する、という状況が常態化します。このとき、観察者自身が投影光を遮ってしまうため投影映像が影で欠けてしまう、という問題が生じます。さらに、このような近接条件では多くの場合、画素の形が認識できるほど大きく見えてしまうため、極端に空間解像度の低い映像を観察することになります。つまり、インタラクティブなプロジェクションマッピングは、投影面への接触動作によって投影コンテンツとインタラクションしようとすると有意に画質が低下してしまうという矛盾を抱えています。これを解決するためには、影の除去および空間解像度の向上の技術が必要となります。
3 動的プロジェクションマッピング
次に取り上げるのは、音楽ユニットPerfumeへのプロジェクションマッピングです。ダンスをしながら動いている3名の歌手の衣装に映像が投影され、その見えが次々に切り替わる作品です。このようなダンスパフォーマンスに対するプロジェクションマッピングでは、一昔前まではいわゆる背景差分法 (ダンサー領域と背景領域を切り分ける)をベースにした単純な手法が用いられていましたが、最近ではモーションキャプチャ等を用いて、ダンサーの身体や衣装の各部位毎に異なる映像を投影するような表現が用いられるようになってきています。
このような、動いている対象へのプロジェクションマッピング (動的プロジェクションマッピング) における技術課題について考えてみます。対象の上に映像がピタッと張り付いたかのように見せることを究極の目標とするならば、まずその対象の動きを計測する必要があります。そして、その動き情報を元に逐次、投影映像を位置合わせします。この処理、モーションキャプチャや深度カメラ等のセンサが安価かつ使いやすくなってきているため、実は比較的簡単に実装できるのですが、それだけでは投影映像の遅延による影響で、ピタッと張り付いたようには見えません。ある調査では、動いている指先に対して位置合わせされた映像が6ミリ秒ほど遅延するだけで、人は指先と映像とのズレを知覚してしまうとの報告があります。つまり、動的プロジェクションマッピングでは、動物体への高速低遅延な位置合わせ技術が必要となります。また、動的プロジェクションマッピングでは焦点ボケの影響も無視できません。プロジェクタは明るさ向上のため、一般的にレンズ口径が大きく設計されており被写界深度（ピントの合う範囲）が狭いです。投影対象がプロジェクタに近づいたり遠ざかったりすると、焦点ボケが発生して投影映像の画質が劣化してしまいます。このため、焦点ボケ補償の技術を適用する必要があります。
最後に、こちらも動的プロジェクションマッピングの作品ですが、人の顔に映像投影し、大変話題になったOMOTEを取り上げます。顔の質感が切り替わるような視覚効果は大変印象的で、形容し難い不思議な感覚を引き起こされます。モーションキャプチャのマーカーを顔の各部位に貼り付けてその位置姿勢を計測し、ゆらゆら動く顔面に投影コンテンツが正確に位置合わせされています。
ここで技術的に興味深いのは、顔に厚くドーランのようなものが塗られていることが見て取れる点です（実際どうなのか確認していませんので、正確でないかもしれません）。実は人間の皮膚に映像を投影すると、鮮明さが低下し、ぼやっとした映像となります。これを引き起こしているのは表面化散乱と呼ばれる光学現象です。表面化散乱とは、皮膚上で投影光が反射するのではなく、入射した投影光が一旦皮膚の中に入り込んで、何度か内部で反射したあと、入射位置とは別の位置から皮膚の外に出ていく現象のことです。表面化散乱が生じる典型的な素材としては、人の肌の他に、植物や大理石が挙げられます。実はそれ以外にも、私達の身の回りにある物体面のほとんどで、光が表面化散乱することが知られており、表面化散乱補償は重要な基盤技術となります。
4 まとめ
ここまで、4つの代表的なプロジェクションマッピング作品を題材に、様々な技術課題について議論してきました。本連載では、これらに加えて相互反射補償や高コントラスト投影といった他のトピックについても、最新の研究成果を交えつつ随時ご紹介していければと考えています。次の記事まで待っていられない、という方は、これから本連載で取り上げる予定の技術がまとめられている書籍[1]や調査論文[2][3]をご参照ください。なお次回は、プロジェクションマッピングのコア技術研究を推進するモチベーションへの理解をさらに深めていただくため、プロジェクションマッピングの多様なアプリケーションご紹介したいと思います。
次回：#2 「プロジェクションマッピングの多様なアプリケーション」
参考文献
1.Bimber, O. & Raskar, R. Spatial Augmented Reality: Merging Real and Virtual Worlds. (CRC Press, 2005).
2.Bimber, O., Iwai, D., Wetzstein, G. & Grundhöfer, A. The Visual Computing of Projector-Camera Systems. Comput. Graph. Forum 27, 2219– 2245 (2008).
3.Grundhöfer, A. & Iwai, D. Recent Advances in Projection Mapping Algorithms, Hardware and Applications. Comput. Graph. Forum 37, 653–675 (2018).
#1「プロジェクションマッピング作品を通して見る技術課題」
1 建築物へのプロジェクションマッピング
2 インタラクティブなプロジェクションマッピング
3 動的プロジェクションマッピング
4 まとめ
#2「プロジェクションマッピングの多様なアプリケーション」
1 照明の知能化
1.1 リビング照明の知能化
1.2 作業空間の照明の知能化
2 表面質感の編集
3 まとめ
#3 「幾何補正 (位置合わせ)」
１ 平面を対象とする場合の幾何補正
２ 立体面を対象とする場合の幾何補正
２．１ 対象面形状が既知の場合の較正
２．２ 対象面形状が未知の場合の較正
２．２．１ 事前プロカム較正アプローチ
２．２．２ 事前カメラ較正アプローチ
２．２．３ 自動較正アプローチ
#4「色補償」
１ 準備
２ 簡易手法
３ 色変換行列手法
４ 非線形補間手法
５ ダイナミックレンジ制約の解消法
６ まとめ
#5「複雑な光学現象への対応（１）」
１ 相互反射補償
２ 焦点ボケ補償
２．１ 複数台投影アプローチ
２．２ 1台投影アプローチ
２．３ 投影光学系の工夫による１台投影における技術的限界の解消
３．まとめ
#6「 複雑な光学現象への対応（２）」
１ 表面化散乱補償
２ ライトトランスポート行列を用いた大域照明効果の一括補償
３ おわりに
#7「影の除去」
1 複数台のプロジェクタを用いた影除去
2 光学系の工夫による影除去
3 まとめ
#8「ハイダイナミックレンジ投影」
１ プロジェクタのダイナミックレンジ拡張
１．１ 単純に最大照度を上げてもダイナミックレンジは改善しない
１．２ 最小照度を下げてダイナミックレンジを拡げる技術
１．３ 最大照度向上と最小照度抑制によるダイナミックレンジ拡張技術
２ プロジェクションシステムのダイナミックレンジ拡張