ミュンヘン工科大学など、RGB-Dセンサから3Dセマンティックセグメンテーションを推定する機械学習を用いた手法「3D-SIS」発表

ミュンヘン工科大学とスタンフォード大学の研究チームは、RGB-Dスキャンにおける3Dセマンティックインスタンスセグメンテーションのためのニューラルネットワークアーキテクチャ「3D-SIS」を発表しました。

論文:3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans

著者:Ji Hou, Angela Dai, Matthias Nießner
所属:Technical University of Munich, Stanford University

本論文は、RGB-Dセンサで記録したマルチビューを使用して、2Dカラー画像 と3Dジオメトリデータから学習するニューラルネットワークを提案します。これにより、オブジェクトバウンディングボックス、クラスラベル、インスタンスマスクの正確な予測を実現します。

本提案手法は、3D region proposal network (3D-RPN)と、3D region of interest pooling layer (3D-RoI)というネットワークを用いて、オブジェクトバウンディングボックスの位置、クラスラベル、およびボクセルごとのインスタンスマスクを推定します。