NTT DOCOMOの研究者らは、VRユーザの表情を外部カメラから撮影できるVR HMD(ヘッドマウントディスプレイ)「Transparent Mask」を発表しました。
論文:Transparent Mask: Face-Capturing Head-Mounted Display with IR Pass Filters
著者:Mariko Chiba, Wataru Yamada, Hiroyuki Manabe
(a)本プロトタイプの外観。黒い部分はIRパスフィルタ。(b)IRカメラによって撮影された画像。(c)魚眼レンズの歪み補正とCNNを用いた色補正をした出力結果。
本論文は、HMD装着者の顔を外部カメラから透過して見ることを可能とするHMDを提案しています。プロトタイプでは、IRパスフィルタと透明アクリル板をHMDの筐体として利用し、HMD前方に魚眼レンズを備えたIRカメラ、内部にハーフミラー、上部にスマートフォンを配置しています。
赤外光を透過し、可視光を遮断するIRパスフィルタを筐体に用いることで、ユーザのVR体験を妨げることなく、正面のIRカメラから顔画像を取得できます。IRカメラから取得できる画像は単色ですが、CNN(Convolutional Neural Network)を用いて、色復元をすることもできます。
また、本システムは、VR空間でHMD装着者の顔や表情を提示することを可能とするほか、目や口のような重要な顔の特徴を抽出することができるため、これらを用いて仮想アバターを駆動することも可能とします。