カーネギーメロン大学のロボット工学研究所の研究者らは、ボディーランゲージを理解するためドーム内にいるユーザーのワイヤフレームモデルを作成することができるドーム型ボディスキャナーシステム「CMU Panoptic Studio」を開発しました。
本ドームは、VGAカメラ480台（640×480解像度/25fps）、HDカメラ31台（1920×1080解像度/30fps）、Kinectセンサー10台（1920×1080（RGB）/512×424（奥行き）/30fps）が整備されており、コンピュータがリアルタイムで複数の人の体の動きを検出することを可能にします。
個人間の非言語コミュニケーションのニュアンスを検出することで、ロボットは周囲の人々の気持ち、気分をより知ることができ、人とロボットの相互のやりとりをスムーズにします。
また、機械が人間の行動を理解できるようにすることで、自閉症、失読症、うつ病などの病態診断やリハビリテーションにも役立つとしています。
OpenPose
ドームでの実験から得られた技術は、単一のカメラから複数人の体をリアルタイムにポーズ検出するオープンソース「OpenPose」につながりました。
OpenPoseは、GitHubで無料（非商用）で公開されている動く人の体や手、顔などを検出するワイヤフレームモデルです。Deep learning用フレームワーク「Caffe」が使用され、ライブ映像及び録画映像のポーズ検出を可能にします。GitHubページはこちら。
関連
安価な単眼RGBカメラだけで人の骨格の動きを検出、3Dキャラクターにリアルタイム反映できる新技術が論文にて公開。Kinectより低コストで精度も良。野外もOK | Seamless