電気通信大学 情報学専攻 小泉研究室の研究者らは、空中像CGキャラクタがユーザの顔を観察し、やり取りしてくれるシステムを発表しました。
論文：Interaction System with Mid-Air CG Character that Has Own Eyes
著者：Kei Tsuchiya, Ayaka Sano, Naoya Koizumi
本論文は、空中像CGキャラクタの視点からユーザを撮影することができる光学系を提案します。これにより、ユーザとCGキャラクタがお互いに見つめ合うようなインタラクションを可能にします。
本システムは、同研究室と東京大学 苗村研究室が開発した技術「GoThro」をベースにしています。「GoThro」は、空中映像を作る原理をカメラに応用した技術で、MMAPsを使用してカメラの視点を光学的に転送するシステムです。カメラの入れない隙間の奥を撮影できます。
例えば、ゲージに入っているハムスタを、ゲージの外からゲージの隙間を通り抜けて、その姿を接写するというように活用しています。以下の映像で確認できます。
本システムは、GoThroに加えて、ディスプレイとハーフミラーを追加することで、空中像を表示し、空中像視点からユーザの顔全体を撮影することを可能にします。
（画像元ファイルは以下にあります。）
https://www.media.lab.uec.ac.jp/wp-content/uploads/2018/10/opticaldesign_土谷.jpg
外部にカメラを設置するのではなく、内部に設置したカメラの視点を光学的に転送することで、空中像とカメラ視点を重ね合わせます。これにより、空中像の視点から見たユーザの様子を撮影することができます。
これらによって、本システムは、あたかもキャラクタがユーザを見て知覚しているかのような体験を実現します。デモ映像では、顔検出を用いてユーザがキャラクタに対して”いないいないばあ”をするアプリケーションを披露しています。
本システムは予備実装段階にあり、今後は視覚を持つ空中像エージェントとして発展させる予定です。