3DCGで構築のリアルタイムに動くVR内デジタルヒューマン「MEETMIKE」がSIGGRAPH 2017に登場。約44万のポリゴン/3種のDeep learning使用

米ロサンゼルスで開催するSIGGRAPH 2017 VR Villageにて、「MEETMIKE」と呼ぶUnreal Engineで制作されたリアルタイムで動作するVR内CGアバターが披露されました。

CGで制作されたアバターは、Nvidia GTX 1080 Ti、RAM 32GBの1台のパソコンから90fpsでリアルタイム・レンダリングされます。

VRヘッドセットには、HTC Viveが用いられており、顔の追跡にはVive Trackerを装備したフェイシャル・トラッキング用カメラリグが使用されます。

カメラリグを装着しているのは、シドニー大学のMike Seymour氏。彼を予めスキャンしリアルなアバターとして再構築、それをモーションキャプチャで捉え顔を動かします。

再構築には、約440,000の三角ポリゴン(内75%が髪の毛)が使用され、また追跡や再構築など一連の流れの中で3種類のDeep learningが使用されてるとのこと。

顔面のトラッキングにはCubic Motionの技術を使用、リアルタイムで動作させるために3Lateralの技術を使用、顔のスキャンにはUSC-ICTのLightstageを使用、アイスキャンはDisney Research Zurich、スキンシェーダは中国のTencentと提携で、そしてデジタルヒューマンを研究する非営利団体Wikihuman projectに基づいて作成されました。

 

関連

Disney、カメラで髪の動きを記録し、そのデータでリアルアバターの現実的なヘアアニメーションを再現するアイディアを論文で公開 | Seamless

ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る