カーネギーメロン大学、スマートフォン用VRヘッドセットに鏡面半球ミラーを装着し自分の全身(手や口、衣服含む)をモーションキャプチャする技術を発表

カーネギーメロン大学による研究チームは、スマートフォン用VRヘッドセットに鏡面半球ミラーを装着し自分の全身(手や口、衣服含む)をモーションキャプチャする 「MoCap」を発表しました。

論文: MeCap: Whole-Body Digitization for Low-Cost VR/AR Headsets

Karan Ahuja, Chris Harrison, Mayank Goel, Robert Xiao
Carnegie Mellon University, 5000 Forbes Avenue, Pittsburgh, PA 15213

本研究は、スマートフォンを差し込んで使用するVR/ARヘッドセット(プラスチック製や段ボール製など)でモーションキャプチャを統合するアプローチを提案します。キャプチャするのは、使用者の3D身体ポーズ、手や指のポーズ、顔の表情(口の状態を検出)、身体的外観(肌と衣服の検出)、および周囲環境のリアルタイム推定です。全身から顔まで細かく提供します。

これらを実現するために、外部センサーやカメラを取り付けることなく、2枚の鏡面半球ミラーとスマートフォン搭載の背面カメラのみを使用してキャプチャします。この手軽さと低コストが魅力と言えます。2枚の鏡面半球ミラーは、ヘッドセットの前約15 cmにセット、カメラを反射させ歪んだ全身を捉えます。

制限としては、まずパススルーとして使用する場合、ミラーが邪魔になること。足がほとんど見えないため足のキャプチャは不正確になること。暗い場所やオクルージョンに弱いこと。素早い動きにはモーションブラーがかかること。などです。

About

テクノロジー系の最新論文を紹介しているWebメディアです。山下が個人で運営し、執筆も連載除いて行なっています。ITmedia NEWS様でも執筆しています。Seamlessをサポートできるプログラムも行なっています。

yamashita.mailer(a)gmail.com

連載

ページ上部へ戻る