こんにちは、大阪大学の岩井大輔です。連載「プロジェクションマッピング技術の変遷」第1回目の前回は、代表的なプロジェクションマッピング作品を題材に、本連載で取り上げる予定の各種基盤技術についてご紹介していきました。第2回目の今回は、なぜこういった技術の研究が進められているのか、そのモチベーションへのご理解をさらに深めていただくことを目的として、プロジェクションマッピングの多様な応用先について議論したいと思います。プロジェクションマッピングというと、とかく大きな建物の壁などに映像を投影して没入感の高い体験を提供する、エンタテインメントや広告での応用事例のみが注目されがちです。しかしながら、プロジェクションマッピングを研究する研究者にとって、このような使われ方は数ある応用先の中の一つに過ぎません。そこで、こういった今主流の分野以外のプロジェクションマッピングのアプリケーション例を、研究段階のものを中心にご紹介します。なお、本記事では紹介のしやすさから私達のグループによる研究例が数多く出てきますが、当然ながら他の研究グループによる同様の研究成果も多数あることを付記しておきます。
目次
１ 照明の知能化
１．１ リビング照明の知能化
１．２ 作業空間の照明の知能化
２ 表面質感の編集
３ まとめ
参考文献
1 照明の知能化
これまで、多種多様な応用の提案がなされてきていますが、その多くには「賢い照明」という概念が通底していると私は考えています。つまり、プロジェクタを既存の照明装置を置換・補助する高自由度照明として捉え、様々なセンシング機能と組み合わせることで、私達の生活を便利で豊かにする照明システムの実現が目指されています。別の見方をすれば、家庭やオフィス内のIoT (Internet-of-Things)化という文脈から、ネットワークに繋がれた知的な照明としてプロジェクタを捉えることもできます。ここではまず、このような賢い照明としてプロジェクションマッピングを応用する例をご紹介します。
1.1 リビング照明の知能化
まず、リビング照明を知能化する試みをご紹介します。米マイクロソフト社の研究所は、テレビに表示している映像の周辺コンテンツを、テレビの周囲の壁や家具にプロジェクションマッピングし、広視野の映像提示によってその没入感を高めるIllumiRoomというシステムを提案しています[1]。
この例はどちらかといえばエンタテインメント向けですが、この研究グループは他にも、遠隔地の人の姿を、あたかも今いるリビング内にいるかのようにプロジェクションマッピングする等身大テレビ会議システムも実現しています[2]。このグループは、リビング内のあらゆる面を複数台のプロジェクタでカバーし、さらにそれらの形状と色の情報をRGB-DカメラKinectを用いて計測することで、所望の位置に映像コンテンツを重畳可能なシステムを構築しています。
リビング照明を知能化する試みとして、私達のグループは、人の手のひらをプロジェクションマッピングによりスマートフォン化するシステムの研究を行いました[3]。近赤外線カメラを用いて計測した手のひらの位置姿勢の情報を用いて、手のひらに映像を位置合わせしています。指先をボタンと見立てたインタフェースで投影コンテンツを操作しています。手のひらに投影した写真をブラウジングしたり、家電を操作するアプリケーションを実現しています。
少し話はそれますが、実はこの研究から遡ること4年前の2003年にはウェアラブルなプロジェクションマッピングを試みています[4]。パンフレットの一部にウェブブラウザが重畳され、パンフレットでは得られないような詳細な情報を閲覧することができるようなアプリケーションを実現しています。紙メディアには閲覧性の高さや軽さといった利点がありますので、それにウェブの持つ詳細で大量の情報を組み合わせる、ハイブリッドなメディアの提案をしていました。
話をもとに戻します。人の手のひらをスマートフォン化する、ということは、いわば人間の身体をプロジェクションマッピングによって拡張する人間拡張(Augmented Human)の一例と捉えることができます。人間拡張の別の例として、私達のグループでは、腕を伸長するシステムを提案しています[5]。
タッチパネル上で指先を動かすと、その動きが増幅されて環境にプロジェクションマッピングされた手が遠くへ移動します。これにより、手の届かない範囲にある家電を操作することができたり、指差しなどのジェスチャを使いながら人と対話することが可能となります。同様のことはポインターをプロジェクションマッピングするだけで実現できますが、手・腕の映像を使うことの利点は、使用者があたかも自分の手が本当に伸びているかのように感じられる点にあると考えています。特に、手の届く範囲に制約のある車椅子利用者や寝たきりに近い状態になってしまった方が、手のジェスチャを使ったコミュニケーションを行える範囲を広げることができればと思い研究を進めています。
身体拡張の文脈で、視覚を拡張する試みをご紹介します。白内障や緑内障により視野がぼやけてしまった方に対して、見ているもののエッジを強調したりコントラストを増幅するようなプロジェクションマッピングを行うことで、その判別を容易にするような提案がなされています[6]。この研究では他にも、二色性色覚のためのカラーマネージメントも実現しており、混同色が含まれる図や文字に対して、その差を増大するようなプロジェクションマッピングを行うことで、色の混同の問題を軽減することが試みられています。
1.2 作業空間の照明の知能化
次に、オフィスや学習部屋、アトリエといった作業空間の照明を知能化することで、それぞれの場所で行われる活動を支援する応用例をご紹介します。オフィス机の照明をプロジェクションマッピングで知能化する先駆的な試みが、1991年に行われています。提案されているDigitalDeskと呼ばれるシステムでは、机上においた書類の数字を指差すと、その横に投影されている電卓にコピーされ、計算を実行する仕組みが実現されています[7]。指先の位置や書類の数字の情報は、机の上部に取り付けられたカメラを用いて認識しています。
この研究が契機となって、多くの研究者が机の上の書類にプロジェクションマッピングする研究に取り組んでいます。私達のグループもその例にもれず、いくつかの試みを行ってきています。例えば、机の上に広げている学習資料やノートに、遠隔の教育者による指差しや書き込みをプロジェクションマッピングする学習支援を実現しています[8]。この例では、互いの机の上に同じ書類が置かれていれば、たとえその配置が異なっていても、カメラによる画像認識を用い、指さした位置や書き込みの位置を互いの書類上で整合して相手側にプロジェクションマッピングします。また、目の前においたモニタに相手の正面映像が表示される一般的なテレビ会議を想定し、そのモニタ側から手が伸びてくるようプロジェクションマッピングすることで、自然な対話環境を実現しています。
私達のグループが行った作業照明の知能化の例をもう一例ご紹介します。この研究では、積み上がった書類の一番上から順に透明化することで、書類を探す手間を減らす試みを行っています[9]。書類が積み上がるたびに机上部に取り付けられたカメラでその表紙の画像を撮影しておき、透明化する際は時間を遡るように撮影画像をプロジェクションマッピングしています。
話はそれますが、プロジェクションマッピングによる透明化では、東京大学で行われている光学迷彩の研究が大変有名です。自動車の内部の座席や扉を透明化して外側を見られるようにしたシステムなど、様々な応用例が提案されています[10]。
自動車の話題が出ましたので、ついでにもう少し脱線すると、自動車のヘッドライトをプロジェクタに置き換え、前方の視認性の高いハイビームの状態で、対向車や歩行者には選択的に光を当てない仕組みの商品化が進んでいます (CES2019のニュース記事)。雨粒に光を当てないよう画素毎に制御することで、雨の中でも高い視認性を確保する研究も進められています[11]。
作業空間の照明の知能化へと話を戻します。次は、絵画制作や造形が行われるアトリエの照明を知能化する試みご紹介します。キャンバスに、色をぬるべき領域や筆を動かすべき軌跡の情報をプロジェクションマッピングすることで絵画制作の学習を補助するシステムが提案されています[12]。
同様に、粘土造形を補助するよう、粘土を盛るべき所と削るべき所をそれぞれ色分けしてプロジェクションマッピングするシステムも提案されています[13]。
更に最近では、AIを用いた線画への彩色結果をプロジェクションマッピングするシステムも提案されています[14]。このように、創造的活動をコンピュータが支援する際の可視化ツールとして、プロジェクションマッピングを利用する提案が数多くなされています。
作業空間の照明の知能化の最後の例として、医療応用を挙げます。患者の身体にプロジェクションマッピングすることで医療従事者を補助するシステムが数多く提案されています。例えば、血中のヘモグロビンに選択的に吸光される近赤外線を照射し、その反射像をプロジェクション重畳することで、静脈の可視性を向上させて静脈穿刺を補助するシステムが、すでに2000年代に商品化されています。
また、肝機能を反映した画像をオンタイムで肝臓にプロジェクションマッピングするシステム(京都大学プレスリリース)や、術前にCT等で取得された体内の情報を術中に身体表面にプロジェクションマッピングするシステムなど、手術を行っている外科医を補助する試みも行われています。さらに、教育目的で、身体模型にその内部構造の3次元モデルをプロジェクションマッピングする研究も進められています[15]。
2 表面質感の編集
プロジェクションマッピング研究におけるもう一つの大きな応用トレンドとして無視できないのが、質感の編集をテーマとした取り組みです。その先駆けとなったShader Lampsと呼ばれる一連の研究プロジェクトは、白色の模型に対して、その形状を元にフォトリアリスティックなコンピュータグラフィクスを生成しプロジェクションマッピングすることで、現実物体の質感を操作できることを鮮やかに示し、その後のプロジェクションマッピング研究の火付け役となりました[16]。
最近では、コンピュータグラフィクスによる光学シミュレーションの速度の向上に伴い、石膏像の質感を、ユーザがインタラクティブに鏡面や木目といった様々な質感に塗り分けられるようなプロジェクションマッピングも提案されています[17]。
こういった表面質感の編集を可能とする技術は、工業製品をデザインする中での利用が試みられています。例えば、独フォルクスワーゲン社の研究グループは、モックアップにプロジェクションマッピングすることで、車の色や素材を切り替える技術について研究を進めています[18]。また、南オーストラリア大の研究グループは、家具のデザインを、実際に設置する部屋の中で行うシステムを提案しています[19]。
その他の応用例としては、経年劣化し色あせた絵画や文化財をプロジェクションマッピングにより仮想的に修復する試みをご紹介します。レオナルド・ダ・ビンチ「最後の晩餐」の修復に代表されるように、絵画の修復には長大な時間と多くの人手が必要です。そこで、あらかじめ修復後の結果をデジタル画像として準備し、プロジェクションマッピングによってそれを文化財の表面で再現する試みが進められています。私達のグループでは、絵画の仮想的修復について研究をおこなっています[20]。また、立体的な文化財を対象とした同様の試みが、米パデュー大のグループによって進められています[21]。
質感編集の文脈で現在最もホットなトピックとして注目されているのが、動いている物体を対象とした動的プロジェクションマッピングです。静止しているものだけではなく、動いているものも質感編集可能となれば、応用範囲が大きく広がります。それだけでなく、対象が動くときに、プロジェクションマッピングされた質感が光学的に一貫性を持つ(例えば、ハイライトや鏡面反射が正しく対象表面を移動する)と、対象が静止していたときと比べて、投影された質感の現実感が格段に向上するという報告もあります。現在はまだ、動的プロジェクションマッピングによる質感編集は技術検証の段階ですが、今後様々な場面での応用が期待できます。以下は、東京大学のグループが研究を進めているシステム[22]と、私達が関わったロボットの顔の質感を変化させるシステム[23]のデモンストレーション映像です。
3 まとめ
今回は、主にプロジェクションマッピングの研究分野で提案されている様々な応用例をご紹介しました。ウェブ記事の良さを活かそうと思い、映像が公開されているものを中心にご紹介いたしましたが、まだまだ興味深い応用の提案が多数あり、すべてをカバーすることはできていません。次回以降、機会がありましたらその都度ご紹介できればと思っています。
参考文献
1. Jones, B. R., Benko, H., Ofek, E. & Wilson, A. D. IllumiRoom: peripheral projected illusions for interactive experiences. in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems – CHI ’13 869–878 (2013).
2. Pejsa, T., Kantor, J., Benko, H., Ofek, E. & Wilson, A. D. Room2Room: Enabling Life-Size Telepresence in a Projected Augmented Reality Environment. in Proceedings of the 19th ACM Conference on Computer-Supported Cooperative Work & Social Computing – CSCW ’16 (2016). doi:10.1145/2818048.2819965
3. Yamamoto, G. & Sato, K. PALMbit: A Body Interface Utilizing Light Projection onto Palms. The Journal of The Institute of Image Information and Television Engineers 61, 797–804 (2007).
4. Karitsuka, T. & Sato, K. A wearable mixed reality with an on-board projector. in The Second IEEE and ACM International Symposium on Mixed and Augmented Reality, 2003. Proceedings. doi:10.1109/ismar.2003.1240740
5. Ueda, Y. et al. Body cyberization by spatial augmented reality for reaching unreachable world. in Proceedings of the 8th Augmented Human International Conference on – AH ’17 (2017). doi:10.1145/3041164.3041188
6. Amano, T. & Kato, H. Appearance control by projector camera feedback for visually impaired. in 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition – Workshops (2010). doi:10.1109/cvprw.2010.5543478
7. Wellner, P. The DigitalDesk calculator. in Proceedings of the 4th annual ACM symposium on User interface software and technology – UIST ’91 (1991). doi:10.1145/120782.120785
8. Iwai, D., Matsukage, R., Aoyama, S., Kikukawa, T. & Sato, K. Geometrically Consistent Projection-Based Tabletop Sharing for Remote Collaboration. IEEE Access 6, 6293–6302 (2018).
9. Iwai, D. & Sato, K. Limpid Desk: See-Through Access to Disorderly Desktop in Projection-Based Mixed Reality. in Proceedings of the ACM symposium on Virtual reality software and technology – VRST ’06 112–115 (2006).
10. Tachi, S., Inami, M. & Uema, Y. The transparent cockpit. IEEE Spectrum 51, 52–56 (2014).
11. Tamburo, R. et al. Programmable Automotive Headlights. in Lecture Notes in Computer Science 750–765 (2014).
12. Flagg, M. & Rehg, J. M. Projector-guided painting. in Proceedings of the 19th annual ACM symposium on User interface software and technology – UIST ’06 (2006). doi:10.1145/1166253.1166290
13. Rivers, A., Adams, A. & Durand, F. Sculpting by numbers. ACM Trans. Graph. 31, 1 (2012).
14. Matulic, F. ColourAIze: AI-Driven Colourisation of Paper Drawings with Interactive Projection System. in Proceedings of the 2018 ACM International Conference on Interactive Surfaces and Spaces – ISS ’18 273–278 (2018).
15. Kondo, D., Shiwaku, Y. & Kijima, R. Free form projection display and application. in Proceedings of the 5th ACM/IEEE International Workshop on Projector camera systems – PROCAMS ’08 (2008). doi:10.1145/1394622.1394633
16. Raskar, R., Welch, G., Low, K.-L. & Bandyopadhyay, D. Shader Lamps: Animating Real Objects With Image-Based Illumination. in Eurographics 89–102 (2001).
17. Lange, V. et al. Interactive Painting and Lighting in Dynamic Multi-Projection Mapping. in Lecture Notes in Computer Science 113–125 (2016).
18. Menk, C. & Koch, R. Truthful Color Reproduction in Spatial Augmented Reality Applications. IEEE Trans. Vis. Comput. Graph. 19, 236–248 (2013).
19. Marner, M. R. & Thomas, B. H. Spatial Augmented Reality user interface techniques for room size modeling tasks. in the Fifteenth Australasian User Interface Conference (AUIC2014) 39–45 (2014).
20. Takenobu Yoshida, Chinatsu Horii, and Kosuke Sato. A Virtual Color Reconstruction System for Real Heritage with Light Projection. in Proc International Conference on Visual System and MultiMedia (VSMM) 161–168
21. Aliaga, D. G., Law, A. J. & Yeung, Y. H. A virtual restoration stage for real-world objects. in ACM SIGGRAPH Asia 2008 papers on – SIGGRAPH Asia ’08 (2008). doi:10.1145/1457515.1409102
22. Miyashita, L., Watanabe, Y. & Ishikawa, M. MIDAS Projection: Markerless and Modelless Dynamic Projection Mapping for Material Representation. ACM Trans. Graph. 37, 1–12 (2018).
23. Bermano, A. et al. Augmenting physical avatars using projector-based illumination. ACM Trans. Graph. 32, 1–10 (2013).
#1「プロジェクションマッピング作品を通して見る技術課題」
1 建築物へのプロジェクションマッピング
2 インタラクティブなプロジェクションマッピング
3 動的プロジェクションマッピング
4 まとめ
#2「プロジェクションマッピングの多様なアプリケーション」
1 照明の知能化
1.1 リビング照明の知能化
1.2 作業空間の照明の知能化
2 表面質感の編集
3 まとめ
#3 「幾何補正 (位置合わせ)」
１ 平面を対象とする場合の幾何補正
２ 立体面を対象とする場合の幾何補正
２．１ 対象面形状が既知の場合の較正
２．２ 対象面形状が未知の場合の較正
２．２．１ 事前プロカム較正アプローチ
２．２．２ 事前カメラ較正アプローチ
２．２．３ 自動較正アプローチ
#4「色補償」
１ 準備
２ 簡易手法
３ 色変換行列手法
４ 非線形補間手法
５ ダイナミックレンジ制約の解消法
６ まとめ
#5「複雑な光学現象への対応（１）」
１ 相互反射補償
２ 焦点ボケ補償
２．１ 複数台投影アプローチ
２．２ 1台投影アプローチ
２．３ 投影光学系の工夫による１台投影における技術的限界の解消
３．まとめ
#6「 複雑な光学現象への対応（２）」
１ 表面化散乱補償
２ ライトトランスポート行列を用いた大域照明効果の一括補償
３ おわりに
#7「影の除去」
1 複数台のプロジェクタを用いた影除去
2 光学系の工夫による影除去
3 まとめ
#8「ハイダイナミックレンジ投影」
１ プロジェクタのダイナミックレンジ拡張
１．１ 単純に最大照度を上げてもダイナミックレンジは改善しない
１．２ 最小照度を下げてダイナミックレンジを拡げる技術
１．３ 最大照度向上と最小照度抑制によるダイナミックレンジ拡張技術
２ プロジェクションシステムのダイナミックレンジ拡張