MPI-Infによる研究チームは、眼鏡フレームに取り付けたカメラで撮影する顔の側面から顔の正面の表情を推定する機械学習を用いた手法「EgoFace」を発表しました。
論文：EgoFace: Egocentric Face Performance Capture and Videorealistic Reenactment
Mohamed Elgharib（Max Planck Institute for Informatics）
Mallikarjun BR （Max Planck Institute for Informatics）
Ayush Tewari（Max Planck Institute for Informatics）
Hyeongwoo Kim （Max Planck Institute for Informatics）
Wentao Liu （Max Planck Institute for Informatics）
Hans-Peter Seidel （Max Planck Institute for Informatics）
Christian Theobalt（Max Planck Institute for Informatics）
本論文は、眼鏡フレームに取り付けた単一のRGB魚眼カメラから撮影した着用者の横顔を入力に、正面の顔をリアルタイムに再構築するニューラルネットワークを用いた手法を提案します。
本提案は、顔の一方的な側面図の画像から表情パラメータを抽出し、得られた表情パラメータを正面の視点からフェイスアニメーションに変換します。前半の処理では、CNN（Convolutional Neural Network）を用いて表情を推定し、後半の処理では 敵対的生成ネットワークGAN（Generative Adversarial Network）を用いて精度を高めます。これによりユーザの視界を邪魔せずに、口の動きを含めた顔の表情をリアルタイムに再現します。