カーネギーメロン大学、スマートフォン用VRヘッドセットに鏡面半球ミラーを装着し自分の全身(手や口、衣服含む)をモーションキャプチャする技術を発表

カーネギーメロン大学による研究チームは、スマートフォン用VRヘッドセットに鏡面半球ミラーを装着し自分の全身(手や口、衣服含む)をモーションキャプチャする 「MoCap」を発表しました。

論文: MeCap: Whole-Body Digitization for Low-Cost VR/AR Headsets

Karan Ahuja, Chris Harrison, Mayank Goel, Robert Xiao
Carnegie Mellon University, 5000 Forbes Avenue, Pittsburgh, PA 15213

本研究は、スマートフォンを差し込んで使用するVR/ARヘッドセット(プラスチック製や段ボール製など)でモーションキャプチャを統合するアプローチを提案します。キャプチャするのは、使用者の3D身体ポーズ、手や指のポーズ、顔の表情(口の状態を検出)、身体的外観(肌と衣服の検出)、および周囲環境のリアルタイム推定です。全身から顔まで細かく提供します。

これらを実現するために、外部センサーやカメラを取り付けることなく、2枚の鏡面半球ミラーとスマートフォン搭載の背面カメラのみを使用してキャプチャします。この手軽さと低コストが魅力と言えます。2枚の鏡面半球ミラーは、ヘッドセットの前約15 cmにセット、カメラを反射させ歪んだ全身を捉えます。

制限としては、まずパススルーとして使用する場合、ミラーが邪魔になること。足がほとんど見えないため足のキャプチャは不正確になること。暗い場所やオクルージョンに弱いこと。素早い動きにはモーションブラーがかかること。などです。

ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る