Seamless

V i r t u a l R e a l i t y

スタンフォード大学やGoogleら、屋内シーンの深度データを入力に、CNNを用いて欠落部分を推定、ラベル付きボクセルの3Dモデルを生成する手法を発表

スタンフォード大学、ブラウン大学、Google、DeepMind、ミュンヘン工科大学の研究者らは、シーンの3Dスキャンを入力に、CNN(convolutional neural network)を用いて欠落部分を推定し、ラベルが付いたボクセルベースの3Dモデルを生成する手法「ScanComplete」を発表しました。

論文:ScanComplete: Large-Scale Scene Completion and Semantic Segmentation for 3D Scans
著者:Angela Dai, Daniel Ritchie, Martin Bokeloh, Scott Reed, Jürgen Sturm, Matthias Nießner
GitHub – angeladai/ScanComplete


(左:室内の不完全な3Dジオメトリ、中央:Fully-CNNを用いて欠落部分を補完し再構成、右:ボクセルベースの再構成)

昨今、安価なRGB-Dセンサにより、屋内空間の3Dスキャンによる再構成が容易になりましたが、精度はまだ不十分です。本稿は、そんな3D再構成を機械学習を用いた今までのアプローチよりも優れたアプローチを提案します。

本提案手法は、室内シーンにおける深度データTSDF(truncated signed distance field)を入力に、Fully-CNNを用いたScanCompleteネットワークアーキテクチャから欠落しているジオメトリを推定し、最大1480×1230×64ボクセル(約70×60×3m)としての再構築を出力します。

訓練には、部分的なTSDFと完全なTDFのトレーニングペアで行います。