安価な単眼RGBカメラだけで人の骨格の動きを検出、3Dキャラクターにリアルタイム反映できる新技術が論文にて公開。Kinectより低コストで精度も良。野外もOK

単一のRGBカメラだけで人の骨格のさまざまな動きを検出して、ゲーム内の3Dキャラクターの動きにリアルタイムに反映させるシステムが論文にて公開されました（PDF）。

機械学習の畳み込みニューラルネットワーク（CNN）に基づくポーズ回帰と、運動学的スケルトンフィッティングを組み合わせたシステムになります。

これにより、単眼RGB方式で3Dキャラクターをリアルタイムに操作することを可能にします。

従来の単眼方式では、RGB-Dカメラが使用されていました。Microsoft Kinectなどが採用しているもので、カラー画像（RGB）と奥行き画像（Depth）を取得できることからRGB-Dカメラと呼ばれています。

今回のアプローチは、RGBのみです。しかし、RGB-Dと同精度、時にはより優れている結果もだし、安価でありながら手軽に行えることを実証したシステムになります。また、Kinectは不安定になる屋外（明るい日光の下）でも安定動作で使用することができるとしています。

論文はこちら（PDF）。

関連