全身の動きをデジタル的に記録する技術といえばモーションキャプチャです。モーションキャプチャと言えば、外部カメラやセンサーを周囲にセットして捉えるアプローチがほとんどです。
なぜなら、周囲からの方が正確に全身運動を捉えることができるからです。しかしながら、そのアプローチではカメラで囲まれた範囲でしか運動はできないデメリットがあります。そこで今回は、自分自身の頭部に1台のカメラを取り付けて、自身の動きをキャプチャする技術を3本ご紹介いたします。
帽子に1台の魚眼カメラを装着し自分の体をリアルタイムに3D姿勢推定するアプローチ「Mo2Cap2」
論文：Mo2Cap2: Real-time Mobile 3D Motion Capture with a Cap-mounted Fisheye Camera
Weipeng Xu1 Avishek Chatterjee1 Michael Zollhoefer1,2 Helge Rhodin3
Pascal Fua3 Hans-Peter Seidel1 Christian Theobalt1
1Max Planck Institute for Informatics, Saarland Informatics Campus 2Stanford University 3EPFL
マックス・プランク情報科学研究所（Max Planck Institute for Informatics）、スタンフォード大学、スイス連邦工科大学ローザンヌ校（EPFL）による研究チームは、単一の魚眼カメラを帽子に装備し身につけることで、自分のリアルタイム姿勢推定を可能にする手法を提案します。
ハードウェアは、標準の野球帽の縁に取り付けられた単一の魚眼カメラ（重量175g、水平/垂直方向に182°の視界）に基づいており、軽量で電力効率が高いアレイになっています。キャプチャしたデータは、CNN（Convolutional Neural Network）で3D姿勢推定として処理されます。キャリブレーションも必要としないため、毎日のモバイル使用に適しています。
このことで、日常の歩くこと、自転車に乗ること、料理すること、スポーツをすることなどの活動（全身運動）を記録することができ、得られた3Dポーズを多様な分野で活用できるのではとしています。
スマートフォン用VRヘッドセットに鏡面半球ミラーを装着し自分の全身（手や口、衣服含む）をモーションキャプチャする技術「MeCap」
論文：MeCap: Whole-Body Digitization for Low-Cost VR/AR Headsets
Karan Ahuja, Chris Harrison, Mayank Goel, Robert Xiao
Carnegie Mellon University
カーネギーメロン大学による研究チームは、スマートフォンを差し込んで使用するVR/ARヘッドセット（プラスチック製や段ボール製など）でモーションキャプチャを統合するアプローチを提案します。キャプチャするのは、使用者の3D身体ポーズ、手や指のポーズ、顔の表情（口の状態を検出）、身体的外観（肌と衣服の検出）、および周囲環境のリアルタイム推定です。全身から顔まで細かく提供します。
これらを実現するために、外部センサーやカメラを取り付けることなく、2枚の鏡面半球ミラーとスマートフォン搭載の背面カメラのみを使用してキャプチャします。この手軽さと低コストが魅力と言えます。2枚の鏡面半球ミラーは、ヘッドセットの前約15 cmにセット、カメラを反射させ歪んだ全身を捉えます。
制限としては、まずパススルーとして使用する場合、ミラーが邪魔になること。足がほとんど見えないため足のキャプチャは不正確になること。暗い場所やオクルージョンに弱いこと。素早い動きにはモーションブラーがかかること。などです。
1台の頭部装着型カメラからの一人称視点映像を入力に自身の3D姿勢をリアルタイムに推定する手法
論文：Ego-Pose Estimation and Forecasting as Real-Time PD Control
Ye Yuan, Kris Kitani
Carnegie Mellon University
カーネギーメロン大学による研究チームは、頭に付けた1台のウェアラブルカメラからの一人称視点映像を入力に、自分の3D姿勢を推定するReinforcement Learningベース法を提案します。また動きの未来予測として、将来の動きを生成することも可能にします。本研究チームによる以前の論文では、歩行や走行などの単純な動きにおける推定を実証しました。今回は、しゃがむや曲がるなどのさらに複雑な動きを推定します。
提案手法は、一人称視点映像と様々な人間の動き(ジョギング、曲げ、うずくまり、回転、ホッピング、傾斜など)からなるモーションキャプチャデータを用いて直接学習します。Reinforcement Learningを介して学習したモデルは、複雑な人間の動きに対する正確な姿勢シーケンスを推定し物理シミュレーションを通してヒューマノイドを生成します。
本提案は、周囲に外部カメラをセットすることもなく、屋内外で推定することが可能です。本研究は多様なことに活用できます。患者のリハビリ状態を医師が遠隔でモニタリングするのに活用したり、ヴァーチャルにおける素材として活用したり、アスリートの動き強化にコーチングシステムとして活用したり、などが考えられます。