UCバークレーなど、スマートフォンで撮影した画像から実世界の3Dシーンをよりリアルに再構築する手法を発表

UCバークレーやFyusion Inc.などによる研究チームは、スマートフォンで撮影した複数の画像から実世界の3Dシーンを再構築するより効率的なレンダリングパイプラインを発表しました。

論文:Local Light Field Fusion: Practical View Synthesis  with Prescriptive Sampling Guidelines

著者:Ben Mildenhall,Pratul Srinivasan, Rodrigo Ortiz-Cayon,Nima Khademi Kalantari, Ravi Ramamoorthi ,Ren Ng, Abhishek Kar
所属:UC Berkeley, Fyusion Inc. Texas A&M, UC San Diego

GitHub – Fyusion/LLFF: Code release for Local Light Field Fusion at SIGGRAPH 2019

スマートフォンで格子状に撮影して(左)、撮影したサンプルビューをレイヤー化を通してローカルライトフィールドに変換(中央)、隣接するローカルライトフィールドを統合することで合成ビューを生成する(右)。

本提案手法を用いてレンダリングした出力結果。

実世界の高品質な3Dシーンを画像ベースでレンダリングする場合、高密度のビューサンプリングを用いて補間し合い生成する手法があります。しかしながら、大量の画像をキャプチャする課題があります。また、複数枚の画像をランダム撮影して、捉えきれない画像は推定して補うアプローチも行われていますが低いパフォーマンスでしか出力できません。そこで本論文では、スマートフォンで不規則だけど格子状に撮影したいくつかの写真から高品質の3Dシーンをリアルタイムに生成する高速アルゴリズムを検証します。

本提案は、スマートフォンで格子状に撮影した複数枚の画像を入力に、実世界の3Dシーンを合成するアプローチを採用します。具体的には、deep learningを用いて各入力画像をローカルライトフィールドに変換し、隣接するローカルライトフィールドをブレンドすることによって新しいビューを合成します。

ユーザは、スマートフォンを用いてガイドラインに習った撮影をするだけで高品質な実世界の3Dシーンを作成することができます。また本手法は、高密度のビューサンプリングを用いて実行する手法と比較しても最大4000枚少ない入力画像で同程度の品質を出力できることも実証しました。

About

テクノロジーの最新研究を紹介するWebメディア。山下が個人運営と執筆を行う(連載除く)。ITmedia NEWSさんでも執筆中。Seamlessをサポートできるプログラムも実施中。

yamashita.mailer(a)gmail.com

連載

ページ上部へ戻る