独マックス・プランク情報科学研究所（Max Planck Institute for Informatics）、米スタンフォード大学、スイス連邦工科大学ローザンヌ校（EPFL）の研究者らは、帽子に1台の魚眼カメラを装着し自身の体をリアルタイムに3D姿勢推定するアプローチ「Mo2Cap2」を発表しました。
論文：Mo2Cap2: Real-time Mobile 3D Motion Capture with a Cap-mounted Fisheye Camera
著者：Weipeng Xu, Avishek Chatterjee, Michael Zollhoefer, Helge Rhodin, Pascal Fua, Hans-Peter Seidel, Christian Theobalt
人の姿勢推定において従来の研究は、ユーザの周囲に配置された単一/複数のカメラを使用するアプローチが多いですが、本稿は、単一の魚眼カメラを帽子に装備し身につけることで、自分のリアルタイム姿勢推定を可能にする手法を提案します。
提案手法は、カメラ位置と光学系の独自性に特化したCNN（Convolutional Neural Network）に基づく手法を採用しており、Nvidia GTX 1080 Tiを使用し60Hzで動作します。
ハードウェアは、標準の野球帽の縁に取り付けられた単一の魚眼カメラ（重量175g、水平/垂直方向に182°の視界）に基づいており、軽量で電力効率が高いアレイになっています。キャリブレーションも必要としないため、毎日のモバイル使用に適しています。
このことで、日常の歩くこと、自転車に乗ること、料理すること、スポーツをすることなどの活動を3D姿勢推定することができ、得られた3Dポーズを多様な分野で活用できるのではとしています。
データセットとコードは利用可能にする予定としています。
