Seamless

V i r t u a l R e a l i t y

チューリッヒ工科大学とDisney Research、1枚のRGB画像から人の体にフィットした3Dデジタル衣装を重ねる技術「AR Costumes」発表

チューリッヒ工科大学とDisney Researchの研究者らは、1枚のRGB画像から人の体にフィットした3Dデジタル衣装を重ねる技術「AR Costumes」を発表しました。

論文:AR Costumes: Automatically Augmenting Watertight Costumes from a single RGB Image
著者:Christoph Maurhofer, Gokcen Cimen, Ma‹ia Ryffel, Robert W. Sumner, Martin Guay

本論文は、単眼カメラで撮影した1枚のRGB画像から、人の体にフィットした3Dデジタルコスチュームを重ねる手法を提案します。

本提案手法は、MPIICOCOのポーズデータ​​セットで訓練したdeep learningを用いて、人物の2DポーズをRGB画像から推定し、対する3Dマッチングに最適な3Dコスチュームを最適化します。

最適な形状(姿勢と割合)が見つかると、次にアーチファクトを除去するために、推定した2DポーズとGrabcutを用いて、身体と頭部の2次元マスクを推定し、背景情報を使用して身体領域を塗りつぶします。

これにより、画像内の人によりフィットした3Dデジタルコスチュームを着せることを可能にします。将来的には、より強力なポーズと形状の推定により改善され、最終的にはリアルタイムで実行されるだろうと述べます。