Seamless

V i r t u a l R e a l i t y

大連理工大学やAdobeなど、1枚の画像をぼかし調整できる機械学習を用いた手法を発表。焦点位置やぼかし加減も調整可能。不自然な境界線も軽減

大連理工大学、ByteDance AI Lab、Adobe Research、Adobe Systemsの研究者らは、スマートフォンカメラなどの一般的なカメラで撮影された1枚の画像にDoF(Depth of field:被写界深度)効果を生成する機械学習を用いた手法「DeepLens」を発表しました。

論文:DeepLens: Shallow Depth Of Field From A Single Image
著者:Lijun Wang, Xiaohui Shen, Jianming Zhang, Oliver Wang, Zhe Lin, Chih-Yao Hsieh, Sarah Kong, Huchuan Lu

本論文は、通常のモバイルデバイスのカメラで撮影された全焦点写真にDoF効果をもたらすニューラルネットワークを用いた手法を提案します。焦点位置やぼかし加減も調整できます。

本提案手法は、単一の画像深度推定のための「Depth Predictionモジュール」、空間的に変化するボケフィルタを予測する「Lens Blurモジュール」、および高解像度のDoF画像を生成するための「Guided Upsamplingモジュール」から構成されます。

デュアルレンズカメラで収集したRGB-Dデータセットで訓練したCNN(Convolutional Neural Network)で深度マップを推定し、オブジェクト境界周りのアーティファクトを軽減するために、アーティファクトのない合成データセットで訓練されたニューラルネットワークを使用し、より少ないアーティファクトの結果を生成します。そして、アップサンプリングネットワークを用いて、解像度を上げて高解像度で出力します。

これにより、モバイルカメラからの画像からDoFを調整することができ、iPhoneのポートレートモードと違って、フォーカルポイントとアパーチャーサイズを柔軟に選択することが可能です。

限界として、本システムは最後にアップサンプリングしていますが、現段階ではGPU性能から低解像度でのアプローチしかできない制限があり、高解像度で直接パイプラインを実行できれば、より精度を向上させることができると述べています。

 

Seamless Video