Facebook AI Research（FAIR）とINRIAの研究者らは、人間の姿勢を2D画像から推定し、人体の表面にテクスチャをマッピングできる機械学習を用いたシステム「DensePose」のオープンソース化を発表しました。
論文：DensePose: Dense Human Pose Estimation In The Wild
著者：Rıza Alp Guler、Natalia Neverova、Iasonas Kokkinos
GitHub:facebookresearch/DensePose: A real-time approach for mapping all human pixels of 2D RGB images to a 3D surface-based model of the body
本稿は、手作業で500万以上注釈したデータセット「DensePose-COCO Dataset」と、そのデータセットを用いて訓練する「DensePose-RCNN」を提案します。
提案手法では、Mask-RCNNをベースにしたDensePose-RCNNアーキテクチャを用いて、人体の領域を検出し、パーツ上の3Dサーフェスモデルに対応する点を推定します。
これらのことで、複数人が密集した2D画像から人体それぞれの3Dモデルを計算し、画像ピクセルを人体のサーフェス座標に関連付けることができるとします。
DensePoseのGitHubページはこちら。データセットはcoming soon。
