チューリッヒ工科大学とDisney Researchの研究者らは、1枚のRGB画像から人の体にフィットした3Dデジタル衣装を重ねる技術「AR Costumes」を発表しました。
論文：AR Costumes: Automatically Augmenting Watertight Costumes from a single RGB Image
著者：Christoph Maurhofer, Gokcen Cimen, Maia Ryffel, Robert W. Sumner, Martin Guay
本論文は、単眼カメラで撮影した1枚のRGB画像から、人の体にフィットした3Dデジタルコスチュームを重ねる手法を提案します。
本提案手法は、MPIIとCOCOのポーズデータセットで訓練したdeep learningを用いて、人物の2DポーズをRGB画像から推定し、対する3Dマッチングに最適な3Dコスチュームを最適化します。
最適な形状（姿勢と割合）が見つかると、次にアーチファクトを除去するために、推定した2DポーズとGrabcutを用いて、身体と頭部の2次元マスクを推定し、背景情報を使用して身体領域を塗りつぶします。
これにより、画像内の人によりフィットした3Dデジタルコスチュームを着せることを可能にします。将来的には、より強力なポーズと形状の推定により改善され、最終的にはリアルタイムで実行されるだろうと述べます。