Seamless

V i r t u a l R e a l i t y

イリノイ大学とIntel、機械学習を用いて暗い環境で撮られた画像を修正するためのデータセットと手法を発表

米国のイリノイ大学アーバナ・シャンペーン校とIntel Labsの研究者らは、機械学習を用いて露出が少ない状態で撮影された暗い写真(低光量画像)を修正するパイプラインを発表しました。

論文:Learning to See in the Dark
著者:Chen Chen, Qifeng Chen, Jia Xu, Vladlen Koltun
GitHub:cchen156/Learning-to-See-in-the-Dark


(左:ISO 8000で撮影された画像。中央:ISO 409,600で撮影された画像。右:本提案手法で処理された画像。Sony α7SII使用、シャッタースピード1/30秒、照度0.1ルクス

本稿は、機械学習を用いて低光量画像を修正するためのデータセットと、それを用いた画像処理パイプラインを提案します。具体的には、FCN(Fully Convolutional Network)を用いて、色変換、デモザイク、ノイズリダクションなど、RAWデータの画像処理をエンド・ツー・エンドで学習します。

See-in-the-Dark(SID)と呼ぶ新しいデータセットは、Sony α7SIIと富士フイルムX-T2で屋内外で撮影された5,094枚の短時間露光画像と、対応する長時間露光画像が含まれており、このペアを使用して訓練します。

結果は顕著です。本提案手法で処理された画像は、従来の画像処理パイプラインを使用して修正した画像よりもノイズが少なく、色再現も優れた画像を生成しました。

以下の画像では、従来の画像処理ツールを使用して露出不足を修正した画像(右)と本提案手法によって処理された画像(左)を見比べることができます。