南カリフォルニア大学の研究者らは、単一の顔画像からリアルアバターの顔や髪形を再構成する生成技術の論文概要とデモ映像を公開しました。
Avatar Digitization From a Single Image For Real-Time Rendering(論文はSIGGRAPH Asia 2017にて発表される予定。)
本稿は、1枚の顔写真からリアルタイムレンダリング向けアバターの顔面を生成する技術を提案します。提案の髪の毛には、分類のために深層畳み込みニューラルネットワーク(deep convolutional neural network)を用いて強化されています。
また、デモ映像後半では、生成した顔モデルをWebカメラでトラッキングしている自分の顔の表面に張り付けて動かすといったこともしており、輪郭、口、目などがリアルタイムに追跡されマスクのように表現されます。
動的顔面置換技術に関しては、本稿の著者でもあるHao Li氏が作成したこちら(過去記事)をご覧ください。
関連
Hao Li、フォトリアリスティックな動的顔面置換技術のデモ映像を公開。トランプ大統領の顔面だけを本物に、髪や輪郭そして顔の動きは別人のモノマネ者 | Seamless