Facebook Reality Labsとミュンヘン工科大学の研究者らは、動きに合わせて自然なシワも表現するより現実的な衣服の再構築法「DeepWrinkles」を発表しました。
論文：DeepWrinkles: Accurate and Realistic Clothing Modelin
著者：Zorah L¨ahner, Daniel Cremers, Tony Tung
（左：4Dデータキャプチャ。中左：部分的モデルからの再構築。中右：cGANよって生成された法線マップのしわ。右：3Dレンダリング）
本論文は、4Dスキャンから現実的な衣服の変形を生成するための機械学習フレームワークを提案します。
提案手法は、統計モデルから衣服のテンプレートを再構築し、実際のデータを使用して姿勢パラメータからブレンド形状パラメータにマッピングすることを学びます。そして、cGAN（conditional Generative Adversarial Network ）を用いて、法線マップ上の詳細を生成します。
これらのことで、全体的な形状と細かなシワなどを回復できるより現実的な衣服の変形を取得します。生成された仮想シャツは、後からアニメーションキャラクタ上などへシームレスに追加します。仮想シャツは、身体とは分離しているため、別のキャラクタ上にリターゲットすることも可能です。
本論文では、衣服の現実的なレンダリングにおいて、物理ベースのシミュレーションとデータ駆動型アプローチの両方における現在の最先端技術よりも優れていることを実証しました。