香港大学、Microsoft Research Asia、ブリティッシュコロンビア大学の研究者らは、手書きの2Dスケッチから3Dサーフェスをモデリングする機械学習を用いた手法を発表を発表しました。
論文：Robust Flow-Guided Neural Prediction for Sketch-Based Freeform Surface Modeling
著者：Changjian Li, Hao Pan, Yang Liu, Xin Tong, Alla Sheffer, Wenping Wang
本論文は、CNN（convolution neural network）を用いて、2Dスケッチから3Dサーフェスを自動でモデリングするアプローチを提案します。サーフェスを表す法線マップと深さを推定するためにCNNを用います。
上図は、鳥の前後のビューをスケッチしたものから、出力するまでのパイプラインです。パイプラインは、前後のスケッチ図それぞれに分かれており、最後に融合させる構成です。
入力であるスケッチ図（深度ポイント、曲率のヒント等含む）をもとに、DFNetを用いて表面の曲率方向を決める流れ場を回帰し、GeomNetを用いて深度マップおよび法線マップとして生成します。
