2D画像からリアルな3D顔モデルを構築する論文が公開。ディープニューラルネットワークを使用

University of Southern California(USC)の助教授であり、米カルフォルニア州サンタモニカベースのスタートアップ「Pinscreen」のCEO & Co-FounderのHao Li氏率いるチームが、ディープニューラルネットワークを用いたフォトリアリスティックフェイステクスチャの論文を公開しました。

gif-iloveimg-compressed

人物の一部分2D画像から写真のようにリアルなテクスチャーマップの3D顔モデルを合成できる方法を提示します。テクスチャーマップを計算するにあたり、詳細な細部を抽出するため「Deep convolutional neural network(深層畳み込みニューラルネットワーク)」が使用されています。

 

リアルタイム・フェイストラッキング技術

ちなみに、Hao Li氏は自社の「Pinscreen」を通して、単一カメラによるコンピュータビジョンベースの顔追跡をARへ応用する技術なども開発しています。動いても顔の表面に張り付くマスクみたいな技術です。デモの映像も公開されています。

 

アーカイブ

ページ上部へ戻る