UCバークレー、1枚の画像から物体の3Dモデルを推定するCNNを用いたフレームワークを発表

カリフォルニア大学バークレー校の研究者らは、単一の画像から物体の3D構造を推定する学習フレームワークを発表しました。

論文：Learning Category-Specific Mesh Reconstruction from Image Collections
著者：Angjoo Kanazawa,Shubham Tulsiani,Alexei A. Efros,Jitendra Malik

本稿は、3次元データに頼ることなく、CNN（Convolutional Neural Network）を用いて単一の画像から物体の3D構造を推定することを学ぶ計算モデルを提案します。

注釈付き2D画像コレクションから学習したモデルは、オブジェクトの形状、カメラのポーズ、テクスチャを推測することができます。鳥のデータセットには、Caltech-UCSD Birds-200-2011を用いています。

また、インスタンス間でテクスチャを転送することができ、メッシュはAという鳥、テクスチャはBという鳥といった混合も容易にできます。

関連