深セン大学、カールトン大学、サイモンフレーザー大学、The interdisciplinary Centerの研究者らは、単一の3Dオブジェクトに対してどのように相互作用するかの機能性を推定し可視化する手法を発表しました。
論文：Predictive and Generative Neural Networks for Object Functionality
著者：Ruizhen Hu, Zihao Yan, Jingwen Zhang, Oliver van Kaick, Ariel Shamir, Hao Zhang, Hui Huang
人間は、1つの物体だけを見てどう使うかなどの機能性を予測できます。本稿は、そんな単一の3Dオブジェクトに対しての機能性を推定し、周囲のオブジェクトとどのように相互作用するかを示すシーンを生成するニューラルネットワークアーキテクチャを提案します。
本提案手法は、fSIM-NET、iGEN-NET、iSEG-NETの3つのニューラルネットワークを導入し、3Dオブジェクトの機能理解とその可視化を可能にします。
具体的には、fSIM-NETがインタラクション・コンテキストを予測し3Dオブジェクトの機能性を推定するように訓練され、iGEN-NETが機能性を合成し、iSEG-NETが相互作用のタイプに応じて異なるグループに分けます。
これらのことで、単一の3Dオブジェクトの機能性を推定し、加えて、その3Dオブジェクトが周囲のオブジェクトとどのように相互作用するかを示す例示的なシーンを生成することを可能にします。
