国立清華大学とKAUST(キング・アブドゥッラー科学技術大学)による研究チームは、部屋の2Dパノラマ画像から3Dレイアウトを生成する半自動システム「PanoAnnotator」を発表しました。
論文:PanoAnnotator: A Semi-Automatic Tool for Indoor Panorama Layout Annotation
著者:Shang-Ta Yang, Chi-Han Peng, Peter Wonka, Hung-Kuo Chu
所属:National Tsing Hua University, KAUST
屋内の2Dパノラマ画像から3Dレイアウトを自動作成する手法は、長方形やL字型の簡易的な間取りでは可能でしたが、より複雑な間取りで変換することは困難なのが現状です。
そこで本論文は、上記問題を踏まえた上で2Dパノラマ画像から3Dレイアウトを生成する自動推定と対話型のユーザ編集を組み合わせたハイブリッド方式を提案します。
本提案手法は、3段階で構築されます。前処理に、入力パノラマからデプスマップなどを用いて2D/3D特徴を自動的に抽出し、抽出された特徴に従って自動的に初期のManhattan world 3Dレイアウトを推定します。最後に、不完全な部分(小さな柱や隠れたスペースなど)を手動で修正することで最終的な3Dレイアウトを出力します。
これにより、より複雑な部屋のレイアウトを半自動で生成でき、また完全手動のツールと比較して4倍のスピードで作成できることを実証しました。