Seamless

V i r t u a l R e a l i t y

MPI for Intelligent Systemsら、6つのIMUを装着し、リアルタイムに全身の3D姿勢推定を行うdeep learningを用いた手法を発表

MPI for Intelligent SystemsAdvanced Interactive Technologies, ETH ZürichMPI-Infの研究者らは、6つの慣性計測装置(IMU)のみを全身に装着し、リアルタイムの3D姿勢推定を実行するdeep learningを用いたアプローチ「DIP(Deep Inertial Poser)」を発表しました。

論文:Deep Inertial Poser: Learning to Reconstruct Human Pose from Sparse Inertial Measurements in Real Time
著者:YINGHAO HUANG,MANUEL KAUFMANN,EMRE AKSAN,MICHAEL J. BLACK,OTMAR HILLIGES,GERARD PONS-MOLL

本論文は、身体に装着する6つのIMUのみを使用して、リアルタイムに3Dの姿勢(全身ポーズ)を再構築するdeep learningを用いた手法を提案します。

本提案手法は、大規模MoCapデータセットから学習し、SMPLボディモデルを使用してIMUデータ(向きと加速度)を合成します。RNN(recurrent neural networks)を用いて、IMUデータを入力として受け取り、SMPLポーズパラメータを推定します。得られたポーズをUnityを介して視覚化します。

このことで、レイテンシや誤差を最小限に抑えつつ、リアルタイムに3Dポーズを回復することを可能にします。