Seamless

V i r t u a l R e a l i t y

Intelなど、単一の2D画像から3D形状を推定する機械学習を用いた手法を発表

Intel Intelligent Systems Labと独マックス・プランク情報科学研究所(Max Planck Institute for Informatics/MPI-Inf)の研究者らは、物体の単一の視野から三次元形状を推定する機械学習を用いたシステムを発表しました。

論文:Unsupervised Learning of Shape and Pose with Differentiable Point Clouds
著者:Eldar Insafutdinov, Alexey Dosovitskiy

本論文は、2D投影から、点群表現を用いて3D物体の姿勢と形状を学習する手法を提案します。画像から形状と姿勢の両方を教師なしで推定するCNN(Convolutional neural network)を訓練します。

上図では、 同じオブジェクトの2つのビューを入力に、対応する形状(点群として表される)とカメラの姿勢が予測され、 次いで、投影モジュールを使用して、予測されたカメラポーズから推定された形状のビューを生成します。