香港大学の研究者らは、CNN（Convolutional Neural Network）を用いて、画像からガラスのような光の反射や透過を要するオブジェクトをマッティングする効率的なモデルを発表しました。
論文：TOM-Net: Learning Transparent Object Matting from a Single Image
著者：Guanying Chen, Kai Han, Kwan-Yee K. Wong
GitHub – guanyingc/TOM-Net: TOM-Net
本稿は、1枚の画像を入力に、ガラスのような透明オブジェクトを反射特性を保存しながら切り抜き、新しい背景画像により自然にレンダリング合成する「TOM-Net」と呼ぶCNNアーキテクチャを提案します。本提案手法は、2段階のネットワークで構成されています。
「CoarseNet」と呼ぶ第1段階は、単一の画像を入力とし、前景オブジェクトのマスク、減衰、屈折を同時に推定するネットワークです。より詳細な減衰と屈折を実現するために、第2段階目の「RefineNet」を用います。RefineNetは、CoarseNetの入力画像と出力の両方を入力とするネットワークです。
透明オブジェクトのデータセットはないため、14個の透明オブジェクト、60種類の背景画像含む876の画像データセットを作成しました。これらのことで、1枚の画像から反射特性を保存しながら前景オブジェクトを新しい背景画像にレンダリングさせる合成を可能にします。
