MIT CSAIL、チューリッヒ工科大学、Adobe Research、Microsoftの研究者らは、CNN（convolutional neural network）を用いて静止画の前景と背景などオブジェクトごとに分離する手法を発表しました。
論文：Semantic Soft Segmentation
著者：YAĞIZ AKSOY, TAE-HYUN OH, SYLVAIN PARIS, MARC POLLEFEYS, WOJCIECH MATUSIK
本論文は、前景と背景をオブジェクトごとにピクセルベースで分離し、背景を置き換えたり、色を調整したりを自動でするCNNを用いたアプローチを提案します。
本提案手法は、入力である元画像のテクスチャと色情報を分析し、訓練されたCNNと組み合わせることで、その画像内のオブジェクトが実際に何であるかを区別します。
これらのことで、前景のオブジェクトと背景とをより正確にセグメントすることができ、より自然に背景を置き換えた合成画像を生成したりを可能にします。
現在は、静止画に焦点を当てていますが、将来的には動画での使用を考えています。