ミュンヘン工科大学とスタンフォード大学の研究チームは、RGB-Dスキャンにおける3Dセマンティックインスタンスセグメンテーションのためのニューラルネットワークアーキテクチャ「3D-SIS」を発表しました。
論文：3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans
著者：Ji Hou, Angela Dai, Matthias Nießner
所属：Technical University of Munich, Stanford University
本論文は、RGB-Dセンサで記録したマルチビューを使用して、2Dカラー画像 と3Dジオメトリデータから学習するニューラルネットワークを提案します。これにより、オブジェクトバウンディングボックス、クラスラベル、インスタンスマスクの正確な予測を実現します。
本提案手法は、3D region proposal network (3D-RPN)と、3D region of interest pooling layer (3D-RoI)というネットワークを用いて、オブジェクトバウンディングボックスの位置、クラスラベル、およびボクセルごとのインスタンスマスクを推定します。