カーネギーメロン大学、スマートフォン用VRヘッドセットに鏡面半球ミラーを装着し自分の全身(手や口、衣服含む)をモーションキャプチャする技術を発表

カーネギーメロン大学による研究チームは、スマートフォン用VRヘッドセットに鏡面半球ミラーを装着し自分の全身(手や口、衣服含む)をモーションキャプチャする 「MoCap」を発表しました。

論文: MeCap: Whole-Body Digitization for Low-Cost VR/AR Headsets

Karan Ahuja, Chris Harrison, Mayank Goel, Robert Xiao
Carnegie Mellon University, 5000 Forbes Avenue, Pittsburgh, PA 15213

本研究は、スマートフォンを差し込んで使用するVR/ARヘッドセット(プラスチック製や段ボール製など)でモーションキャプチャを統合するアプローチを提案します。キャプチャするのは、使用者の3D身体ポーズ、手や指のポーズ、顔の表情(口の状態を検出)、身体的外観(肌と衣服の検出)、および周囲環境のリアルタイム推定です。全身から顔まで細かく提供します。

これらを実現するために、外部センサーやカメラを取り付けることなく、2枚の鏡面半球ミラーとスマートフォン搭載の背面カメラのみを使用してキャプチャします。この手軽さと低コストが魅力と言えます。2枚の鏡面半球ミラーは、ヘッドセットの前約15 cmにセット、カメラを反射させ歪んだ全身を捉えます。

制限としては、まずパススルーとして使用する場合、ミラーが邪魔になること。足がほとんど見えないため足のキャプチャは不正確になること。暗い場所やオクルージョンに弱いこと。素早い動きにはモーションブラーがかかること。などです。

ページ上部へ戻る