米ロサンゼルスで開催するSIGGRAPH 2017 VR Villageにて、「MEETMIKE」と呼ぶUnreal Engineで制作されたリアルタイムで動作するVR内CGアバターが披露されました。
CGで制作されたアバターは、Nvidia GTX 1080 Ti、RAM 32GBの1台のパソコンから90fpsでリアルタイム・レンダリングされます。
VRヘッドセットには、HTC Viveが用いられており、顔の追跡にはVive Trackerを装備したフェイシャル・トラッキング用カメラリグが使用されます。
カメラリグを装着しているのは、シドニー大学のMike Seymour氏。彼を予めスキャンしリアルなアバターとして再構築、それをモーションキャプチャで捉え顔を動かします。
再構築には、約440,000の三角ポリゴン（内75%が髪の毛）が使用され、また追跡や再構築など一連の流れの中で3種類のDeep learningが使用されてるとのこと。
顔面のトラッキングにはCubic Motionの技術を使用、リアルタイムで動作させるために3Lateralの技術を使用、顔のスキャンにはUSC-ICTのLightstageを使用、アイスキャンはDisney Research Zurich、スキンシェーダは中国のTencentと提携で、そしてデジタルヒューマンを研究する非営利団体Wikihuman projectに基づいて作成されました。
関連
Disney、カメラで髪の動きを記録し、そのデータでリアルアバターの現実的なヘアアニメーションを再現するアイディアを論文で公開 | Seamless