Facebookら、顔写真の表情(動き)を後からつけられる静止画アニメーション化技術を論文にて発表。顔のひずみや口を開けた時の歯なども再現

イスラエルのテルアビブ大学とFacebookの研究者らは、顔の写真に後から任意の動きをつけることができる技術を論文にて発表しました。

Bringing Portraits to Life(PDF)

本稿では、撮影した顔の動き(表情)を、静止画に模倣させるという顔写真をアニメーション化する技術を提案します。


(上段が動かしたいビデオ側で、2段目から下は上段の表情を模倣した静止画側です。)

技術的には、二次元ワープを基本としていますが、口を開けた時の口の中(歯など)の補填や、顔のひずみなど細かい箇所も再現します。

このことで、写真の被写体が生き生きと様々な感情を表現できるようになります。

将来的には、ターゲットの顔に最も合った動画を自動的に選択することも検討しているのと同時に、3DメソッドやAIを組み合わせることも検討しているとしています。1枚の写真から始まるインタラクティブなアバターを作成することができるとも述べています。

 

関連

カメラ、ケーブル、マーカー、ヘッドセットなしにリアルタイムで顔の表情をキャプチャしアバターで再現するスマートグラス「OCOsense」が登場 | Seamless

アーカイブ

ページ上部へ戻る