国立清華大学など、複雑な間取りでも部屋の2Dパノラマ画像から3Dレイアウトを作成する半自動システムを発表

国立清華大学とKAUST(キング・アブドゥッラー科学技術大学)による研究チームは、部屋の2Dパノラマ画像から3Dレイアウトを生成する半自動システム「PanoAnnotator」を発表しました。

論文:PanoAnnotator: A Semi-Automatic Tool for Indoor Panorama Layout Annotation

著者:Shang-Ta Yang,  Chi-Han Peng, Peter Wonka, Hung-Kuo Chu
所属:National Tsing Hua University, KAUST

屋内の2Dパノラマ画像から3Dレイアウトを自動作成する手法は、長方形やL字型の簡易的な間取りでは可能でしたが、より複雑な間取りで変換することは困難なのが現状です。

そこで本論文は、上記問題を踏まえた上で2Dパノラマ画像から3Dレイアウトを生成する自動推定と対話型のユーザ編集を組み合わせたハイブリッド方式を提案します。

本提案手法は、3段階で構築されます。前処理に、入力パノラマからデプスマップなどを用いて2D/3D特徴を自動的に抽出し、抽出された特徴に従って自動的に初期のManhattan world 3Dレイアウトを推定します。最後に、不完全な部分(小さな柱や隠れたスペースなど)を手動で修正することで最終的な3Dレイアウトを出力します。

これにより、より複雑な部屋のレイアウトを半自動で生成でき、また完全手動のツールと比較して4倍のスピードで作成できることを実証しました。