3DCGで構築のリアルタイムに動くVR内デジタルヒューマン「MEETMIKE」がSIGGRAPH 2017に登場。約44万のポリゴン/3種のDeep learning使用

米ロサンゼルスで開催するSIGGRAPH 2017 VR Villageにて、「MEETMIKE」と呼ぶUnreal Engineで制作されたリアルタイムで動作するVR内CGアバターが披露されました。

CGで制作されたアバターは、Nvidia GTX 1080 Ti、RAM 32GBの1台のパソコンから90fpsでリアルタイム・レンダリングされます。

VRヘッドセットには、HTC Viveが用いられており、顔の追跡にはVive Trackerを装備したフェイシャル・トラッキング用カメラリグが使用されます。

カメラリグを装着しているのは、シドニー大学のMike Seymour氏。彼を予めスキャンしリアルなアバターとして再構築、それをモーションキャプチャで捉え顔を動かします。

再構築には、約440,000の三角ポリゴン(内75%が髪の毛)が使用され、また追跡や再構築など一連の流れの中で3種類のDeep learningが使用されてるとのこと。

顔面のトラッキングにはCubic Motionの技術を使用、リアルタイムで動作させるために3Lateralの技術を使用、顔のスキャンにはUSC-ICTのLightstageを使用、アイスキャンはDisney Research Zurich、スキンシェーダは中国のTencentと提携で、そしてデジタルヒューマンを研究する非営利団体Wikihuman projectに基づいて作成されました。

 

関連

Disney、カメラで髪の動きを記録し、そのデータでリアルアバターの現実的なヘアアニメーションを再現するアイディアを論文で公開 | Seamless

アーカイブ

ページ上部へ戻る