コンピュータビジョン関連を得意とするスタートアップ「Pinscreen」のCEO：Hao Li氏は、SIGGRAPH Asia 2016にて発表したリアルタイム・フェイストラッキング技術のビデオを公開しました。
VRヘッドセットを装着した状態で口元および目の周りの表情を追跡し、リアルタイムにアバターなどに反映させるという技術です。2015年のSIGGRAPHにも当時のプロトタイプで発表しており注目されていた技術、今回アイトラッキング搭載VRヘッドセット「FOVE」を使用するなどアップグレードバージョンを提示しました。
（左が2015年、右が2016年）
瞬きなど目の周辺はVRヘッドセット内のIRカメラから、口元はVRヘッドセットフロントに取り付けたカメラから取り込みます。
ビデオタイトルから分かるように、現在、3Dソーシャルプラットフォームの「High-Fidelity」で使用する顔と音声アニメーションのために技術を追求している模様です。
High-Fidelityとは、3D空間で人型アバター同士が交流するプラットフォームで、「Second Life」を運営するLinden Labの創立者Philip Rosedale氏が辞めて立ち上げたスタートアップです。今後、サービスに取り入れられるのかもしれません。
今回コアとして関わっているスタートアップ「Pinscreen」については、過去記事をご参照ください。先日、シードで180万ドルの資金を調達した期待のチームです。（過去記事）