顔をスマホで撮影、リアルタイムに動くアニメーション化した3Dアバター作成技術

スイスの「Computer Graphics and Geometry Laboratory」は、スマホなどの携帯できる小型デバイス(ハンドヘルドコンピュータ)で撮影した顔を3Dアバターにしてしまう技術をCGのイベント「SIGGRAPH 2015」で発表します。3Dアバターは動きをつけるところまでします。

OYm8Za4

スマホでいろんな角度から顔を撮影、背景は排除して記録した画像を合成し再構築します。静的な合成をしたら、次は動きを記録して学習させます。口を開けたとき、笑ったとき、怒ったときなど特徴的な動きを記録し学習してもらいます。笑ったときのシワなど精密に。

スクリーンショット 2015-08-08 9.24.23

スクリーンショット 2015-08-08 9.33.11

ユーザーは、自分のアバターを立ち上げてトラッキングソフトを使うと、同じフレームレートでレンタリングすることが可能になります。カメラに映った自分の表情がリアルタイムにアバターに反映されて同じ動きをするということです。

スクリーンショット 2015-08-08 9.34.04

 

リンク

Dynamic 3D Avatar Creation from Hand-held Video Input

ABOUT

本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。詳細はこちら

ページ上部へ戻る