Facebookは、リアルタイムで体のポーズを正確に検出し、人を背景から分離させる新しい技術「Mask R-CNN2Go」を発表しました。
本技術は、ResNetに基づいたMask R-CNNフレームワークを用いており、画像内のオブジェクトを検出すると同時に、キーポイントを予測し、オブジェクトごとにセグメンテーションマスクを生成します。
また、NNPack、SNPE、MetalなどのモバイルCPUとGPUライブラリを利用することで、モバイル計算速度を大幅に向上させ、スマートフォンでの実行も可能にします。
現在は研究段階ですが、将来的にはボディマスクの作成、ジェスチャゲームの制御などの新しいアプリケーションで使用したいと考えます。
関連
Facebook、Deep learningベースのコンピュータビジョン物体検出アルゴリズム「Detectron」をオープンソース化。活用した研究論文も多数公開済み | Seamless