University of Southern California（USC）の助教授であり、米カルフォルニア州サンタモニカベースのスタートアップ「Pinscreen」のCEO & Co-FounderのHao Li氏率いるチームが、ディープニューラルネットワークを用いたフォトリアリスティックフェイステクスチャの論文を公開しました。
人物の一部分2D画像から写真のようにリアルなテクスチャーマップの3D顔モデルを合成できる方法を提示します。テクスチャーマップを計算するにあたり、詳細な細部を抽出するため「Deep convolutional neural network（深層畳み込みニューラルネットワーク）」が使用されています。
リアルタイム・フェイストラッキング技術
ちなみに、Hao Li氏は自社の「Pinscreen」を通して、単一カメラによるコンピュータビジョンベースの顔追跡をARへ応用する技術なども開発しています。動いても顔の表面に張り付くマスクみたいな技術です。デモの映像も公開されています。