Seamless

Virtual Reality News

マックス・プランク研究所ら、帽子に1台の魚眼カメラを装着し自分の体をリアルタイムに3D姿勢推定するモバイルベースのアプローチを発表

独マックス・プランク情報科学研究所(Max Planck Institute for Informatics)、米スタンフォード大学、スイス連邦工科大学ローザンヌ校(EPFL)の研究者らは、帽子に1台の魚眼カメラを装着し自身の体をリアルタイムに3D姿勢推定するアプローチ「Mo2Cap2」を発表しました。

論文:Mo2Cap2: Real-time Mobile 3D Motion Capture with a Cap-mounted Fisheye Camera
著者:Weipeng Xu, Avishek Chatterjee, Michael Zollhoefer, Helge Rhodin, Pascal Fua, Hans-Peter Seidel, Christian Theobalt

人の姿勢推定において従来の研究は、ユーザの周囲に配置された単一/複数のカメラを使用するアプローチが多いですが、本稿は、単一の魚眼カメラを帽子に装備し身につけることで、自分のリアルタイム姿勢推定を可能にする手法を提案します。

提案手法は、カメラ位置と光学系の独自性に特化したCNN(Convolutional Neural Network)に基づく手法を採用しており、Nvidia GTX 1080 Tiを使用し60Hzで動作します。

ハードウェアは、標準の野球帽の縁に取り付けられた単一の魚眼カメラ(重量175g、水平/垂直方向に182°の視界)に基づいており、軽量で電力効率が高いアレイになっています。キャリブレーションも必要としないため、毎日のモバイル使用に適しています。

このことで、日常の歩くこと、自転車に乗ること、料理すること、スポーツをすることなどの活動を3D姿勢推定することができ、得られた3Dポーズを多様な分野で活用できるのではとしています。

データセットとコードは利用可能にする予定としています。