MPI-Inf、メガネフレーム側面に装着したカメラによる顔の側面映像から正面の表情を再現する機械学習を用いた手法「EgoFace」発表

MPI-Infによる研究チームは、眼鏡フレームに取り付けたカメラで撮影する顔の側面から顔の正面の表情を推定する機械学習を用いた手法「EgoFace」を発表しました。

論文:EgoFace: Egocentric Face Performance Capture and Videorealistic Reenactment

Mohamed Elgharib(Max Planck Institute for Informatics)
Mallikarjun BR (Max Planck Institute for Informatics)
Ayush Tewari(Max Planck Institute for Informatics)
Hyeongwoo Kim (Max Planck Institute for Informatics)
Wentao Liu (Max Planck Institute for Informatics)
Hans-Peter Seidel (Max Planck Institute for Informatics)
Christian Theobalt(Max Planck Institute for Informatics)

本論文は、眼鏡フレームに取り付けた単一のRGB魚眼カメラから撮影した着用者の横顔を入力に、正面の顔をリアルタイムに再構築するニューラルネットワークを用いた手法を提案します。

本提案は、顔の一方的な側面図の画像から表情パラメータを抽出し、得られた表情パラメータを正面の視点からフェイスアニメーションに変換します。前半の処理では、CNN(Convolutional Neural Network)を用いて表情を推定し、後半の処理では 敵対的生成ネットワークGAN(Generative Adversarial Network)を用いて精度を高めます。これによりユーザの視界を邪魔せずに、口の動きを含めた顔の表情をリアルタイムに再現します。

ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る