Seamless

V i r t u a l R e a l i t y

プロジェクションマッピング技術の変遷 #2 「プロジェクションマッピングの多様なアプリケーション」

前回:#1「プロジェクションマッピング作品を通して見る技術課題」

執筆者:岩井 大輔 連載一覧

 こんにちは、大阪大学の岩井大輔です。連載「プロジェクションマッピング技術の変遷」第1回目の前回は、代表的なプロジェクションマッピング作品を題材に、本連載で取り上げる予定の各種基盤技術についてご紹介していきました。第2回目の今回は、なぜこういった技術の研究が進められているのか、そのモチベーションへのご理解をさらに深めていただくことを目的として、プロジェクションマッピングの多様な応用先について議論したいと思います。プロジェクションマッピングというと、とかく大きな建物の壁などに映像を投影して没入感の高い体験を提供する、エンタテインメントや広告での応用事例のみが注目されがちです。しかしながら、プロジェクションマッピングを研究する研究者にとって、このような使われ方は数ある応用先の中の一つに過ぎません。そこで、こういった今主流の分野以外のプロジェクションマッピングのアプリケーション例を、研究段階のものを中心にご紹介します。なお、本記事では紹介のしやすさから私達のグループによる研究例が数多く出てきますが、当然ながら他の研究グループによる同様の研究成果も多数あることを付記しておきます。

1 照明の知能化

 これまで、多種多様な応用の提案がなされてきていますが、その多くには「賢い照明」という概念が通底していると私は考えています。つまり、プロジェクタを既存の照明装置を置換・補助する高自由度照明として捉え、様々なセンシング機能と組み合わせることで、私達の生活を便利で豊かにする照明システムの実現が目指されています。別の見方をすれば、家庭やオフィス内のIoT (Internet-of-Things)化という文脈から、ネットワークに繋がれた知的な照明としてプロジェクタを捉えることもできます。ここではまず、このような賢い照明としてプロジェクションマッピングを応用する例をご紹介します。

1.1 リビング照明の知能化

 まず、リビング照明を知能化する試みをご紹介します。米マイクロソフト社の研究所は、テレビに表示している映像の周辺コンテンツを、テレビの周囲の壁や家具にプロジェクションマッピングし、広視野の映像提示によってその没入感を高めるIllumiRoomというシステムを提案しています1

この例はどちらかといえばエンタテインメント向けですが、この研究グループは他にも、遠隔地の人の姿を、あたかも今いるリビング内にいるかのようにプロジェクションマッピングする等身大テレビ会議システムも実現しています2。このグループは、リビング内のあらゆる面を複数台のプロジェクタでカバーし、さらにそれらの形状と色の情報をRGB-DカメラKinectを用いて計測することで、所望の位置に映像コンテンツを重畳可能なシステムを構築しています。

 リビング照明を知能化する試みとして、私達のグループは、人の手のひらをプロジェクションマッピングによりスマートフォン化するシステムの研究を行いました3。近赤外線カメラを用いて計測した手のひらの位置姿勢の情報を用いて、手のひらに映像を位置合わせしています。指先をボタンと見立てたインタフェースで投影コンテンツを操作しています。手のひらに投影した写真をブラウジングしたり、家電を操作するアプリケーションを実現しています。

少し話はそれますが、実はこの研究から遡ること4年前の2003年にはウェアラブルなプロジェクションマッピングを試みています4。パンフレットの一部にウェブブラウザが重畳され、パンフレットでは得られないような詳細な情報を閲覧することができるようなアプリケーションを実現しています。紙メディアには閲覧性の高さや軽さといった利点がありますので、それにウェブの持つ詳細で大量の情報を組み合わせる、ハイブリッドなメディアの提案をしていました。

 話をもとに戻します。人の手のひらをスマートフォン化する、ということは、いわば人間の身体をプロジェクションマッピングによって拡張する人間拡張(Augmented Human)の一例と捉えることができます。人間拡張の別の例として、私達のグループでは、腕を伸長するシステムを提案しています5

タッチパネル上で指先を動かすと、その動きが増幅されて環境にプロジェクションマッピングされた手が遠くへ移動します。これにより、手の届かない範囲にある家電を操作することができたり、指差しなどのジェスチャを使いながら人と対話することが可能となります。同様のことはポインターをプロジェクションマッピングするだけで実現できますが、手・腕の映像を使うことの利点は、使用者があたかも自分の手が本当に伸びているかのように感じられる点にあると考えています。特に、手の届く範囲に制約のある車椅子利用者や寝たきりに近い状態になってしまった方が、手のジェスチャを使ったコミュニケーションを行える範囲を広げることができればと思い研究を進めています。

 身体拡張の文脈で、視覚を拡張する試みをご紹介します。白内障や緑内障により視野がぼやけてしまった方に対して、見ているもののエッジを強調したりコントラストを増幅するようなプロジェクションマッピングを行うことで、その判別を容易にするような提案がなされています6。この研究では他にも、二色性色覚のためのカラーマネージメントも実現しており、混同色が含まれる図や文字に対して、その差を増大するようなプロジェクションマッピングを行うことで、色の混同の問題を軽減することが試みられています。

1.2 作業空間の照明の知能化

 次に、オフィスや学習部屋、アトリエといった作業空間の照明を知能化することで、それぞれの場所で行われる活動を支援する応用例をご紹介します。オフィス机の照明をプロジェクションマッピングで知能化する先駆的な試みが、1991年に行われています。提案されているDigitalDeskと呼ばれるシステムでは、机上においた書類の数字を指差すと、その横に投影されている電卓にコピーされ、計算を実行する仕組みが実現されています7。指先の位置や書類の数字の情報は、机の上部に取り付けられたカメラを用いて認識しています。

この研究が契機となって、多くの研究者が机の上の書類にプロジェクションマッピングする研究に取り組んでいます。私達のグループもその例にもれず、いくつかの試みを行ってきています。例えば、机の上に広げている学習資料やノートに、遠隔の教育者による指差しや書き込みをプロジェクションマッピングする学習支援を実現しています8。この例では、互いの机の上に同じ書類が置かれていれば、たとえその配置が異なっていても、カメラによる画像認識を用い、指さした位置や書き込みの位置を互いの書類上で整合して相手側にプロジェクションマッピングします。また、目の前においたモニタに相手の正面映像が表示される一般的なテレビ会議を想定し、そのモニタ側から手が伸びてくるようプロジェクションマッピングすることで、自然な対話環境を実現しています。

 私達のグループが行った作業照明の知能化の例をもう一例ご紹介します。この研究では、積み上がった書類の一番上から順に透明化することで、書類を探す手間を減らす試みを行っています9。書類が積み上がるたびに机上部に取り付けられたカメラでその表紙の画像を撮影しておき、透明化する際は時間を遡るように撮影画像をプロジェクションマッピングしています。

話はそれますが、プロジェクションマッピングによる透明化では、東京大学で行われている光学迷彩の研究が大変有名です。自動車の内部の座席や扉を透明化して外側を見られるようにしたシステムなど、様々な応用例が提案されています10

自動車の話題が出ましたので、ついでにもう少し脱線すると、自動車のヘッドライトをプロジェクタに置き換え、前方の視認性の高いハイビームの状態で、対向車や歩行者には選択的に光を当てない仕組みの商品化が進んでいます (CES2019のニュース記事)。雨粒に光を当てないよう画素毎に制御することで、雨の中でも高い視認性を確保する研究も進められています11

 作業空間の照明の知能化へと話を戻します。次は、絵画制作や造形が行われるアトリエの照明を知能化する試みご紹介します。キャンバスに、色をぬるべき領域や筆を動かすべき軌跡の情報をプロジェクションマッピングすることで絵画制作の学習を補助するシステムが提案されています12

同様に、粘土造形を補助するよう、粘土を盛るべき所と削るべき所をそれぞれ色分けしてプロジェクションマッピングするシステムも提案されています13

更に最近では、AIを用いた線画への彩色結果をプロジェクションマッピングするシステムも提案されています14。このように、創造的活動をコンピュータが支援する際の可視化ツールとして、プロジェクションマッピングを利用する提案が数多くなされています。

 作業空間の照明の知能化の最後の例として、医療応用を挙げます。患者の身体にプロジェクションマッピングすることで医療従事者を補助するシステムが数多く提案されています。例えば、血中のヘモグロビンに選択的に吸光される近赤外線を照射し、その反射像をプロジェクション重畳することで、静脈の可視性を向上させて静脈穿刺を補助するシステムが、すでに2000年代に商品化されています。

また、肝機能を反映した画像をオンタイムで肝臓にプロジェクションマッピングするシステム(京都大学プレスリリース)や、術前にCT等で取得された体内の情報を術中に身体表面にプロジェクションマッピングするシステムなど、手術を行っている外科医を補助する試みも行われています。さらに、教育目的で、身体模型にその内部構造の3次元モデルをプロジェクションマッピングする研究も進められています15

2 表面質感の編集

 プロジェクションマッピング研究におけるもう一つの大きな応用トレンドとして無視できないのが、質感の編集をテーマとした取り組みです。

全文を読むには、Seamless Supporter Program(月額10ドル)に参加する必要があります。詳細はこちらから。参加済みの方はこちらから

3 まとめ

 今回は、主にプロジェクションマッピングの研究分野で提案されている様々な応用例をご紹介しました。ウェブ記事の良さを活かそうと思い、映像が公開されているものを中心にご紹介いたしましたが、まだまだ興味深い応用の提案が多数あり、すべてをカバーすることはできていません。次回以降、機会がありましたらその都度ご紹介できればと思っています。

参考文献

  1. Jones, B. R., Benko, H., Ofek, E. & Wilson, A. D. IllumiRoom: peripheral projected illusions for interactive experiences. in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems – CHI ’13 869– 878 (2013).
  2. Pejsa, T., Kantor, J., Benko, H., Ofek, E. & Wilson, A. D. Room2Room: Enabling Life-Size Telepresence in a Projected Augmented Reality Environment. in Proceedings of the 19th ACM Conference on Computer-Supported Cooperative Work & Social Computing – CSCW ’16 (2016). doi:10.1145/2818048.2819965
  3. Yamamoto, G. & Sato, K. PALMbit: A Body Interface Utilizing Light Projection onto Palms. The Journal of The Institute of Image Information and Television Engineers 61, 797– 804 (2007).
  4. Karitsuka, T. & Sato, K. A wearable mixed reality with an on-board projector. in The Second IEEE and ACM International Symposium on Mixed and Augmented Reality, 2003. Proceedings. doi:10.1109/ismar.2003.1240740
  5. Ueda, Y. et al. Body cyberization by spatial augmented reality for reaching unreachable world. in Proceedings of the 8th Augmented Human International Conference on – AH ’17 (2017). doi:10.1145/3041164.3041188
  6. Amano, T. & Kato, H. Appearance control by projector camera feedback for visually impaired. in 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition – Workshops (2010). doi:10.1109/cvprw.2010.5543478
  7. Wellner, P. The DigitalDesk calculator. in Proceedings of the 4th annual ACM symposium on User interface software and technology – UIST ’91 (1991). doi:10.1145/120782.120785
  8. Iwai, D., Matsukage, R., Aoyama, S., Kikukawa, T. & Sato, K. Geometrically Consistent Projection-Based Tabletop Sharing for Remote Collaboration. IEEE Access 6, 6293– 6302 (2018).
  9. Iwai, D. & Sato, K. Limpid Desk: See-Through Access to Disorderly Desktop in Projection-Based Mixed Reality. in Proceedings of the ACM symposium on Virtual reality software and technology – VRST ’06 112– 115 (2006).
  10. Tachi, S., Inami, M. & Uema, Y. The transparent cockpit. IEEE Spectrum 51, 52– 56 (2014).
  11. Tamburo, R. et al. Programmable Automotive Headlights. in Lecture Notes in Computer Science 750– 765 (2014).
  12. Flagg, M. & Rehg, J. M. Projector-guided painting. in Proceedings of the 19th annual ACM symposium on User interface software and technology – UIST ’06 (2006). doi:10.1145/1166253.1166290
  13. Rivers, A., Adams, A. & Durand, F. Sculpting by numbers. ACM Trans. Graph. 31, 1 (2012).
  14. Matulic, F. ColourAIze: AI-Driven Colourisation of Paper Drawings with Interactive Projection System. in Proceedings of the 2018 ACM International Conference on Interactive Surfaces and Spaces – ISS ’18 273– 278 (2018).
  15. Kondo, D., Shiwaku, Y. & Kijima, R. Free form projection display and application. in Proceedings of the 5th ACM/IEEE International Workshop on Projector camera systems – PROCAMS ’08 (2008). doi:10.1145/1394622.1394633

プロジェクションマッピング技術の変遷

岩井 大輔

#1「プロジェクションマッピング作品を通して見る技術課題」
1 建築物へのプロジェクションマッピング
2 インタラクティブなプロジェクションマッピング
3 動的プロジェクションマッピング
4 まとめ

#2「プロジェクションマッピングの多様なアプリケーション」
1 照明の知能化
1.1 リビング照明の知能化
1.2 作業空間の照明の知能化
2 表面質感の編集
3 まとめ