miHoYo、リーズ大学、ユニバーシティ・カレッジ・ロンドン、Adobe Researchによる研究チームは、衣服アニメーションを半自動で生成するDeep learningを用いたフレームワークを発表しました。
論文：Learning an Intrinsic Garment Space for Interactive Authoring ofGarment Animation
TUANFENG Y. WANG, miHoYo Inc.
TIANJIA SHAO, University of Leeds
KAI FU, miHoYo Inc.
NILOY J. MITRA, University College London and Adobe Research
本研究では、半自動で衣服アニメーションを生成できるDeep learningを用いたアプローチを提案します。訓練されたネットワークにボディモーションとキーフレームの衣服形状を設定すると、自動的に他のモーションへもともらしい衣服形状が伝播されます。これら伝播された形状を確認しながら、別のキーフレームに衣服形状を加えたり、モーションを一部変更したりして、インタラクティブに編集します。これら一部の編集でも、前後のフレームで自然になるようにアニメーションが合成されます。
本アプローチは以下のような制限があります。学習したネットワークは、キャラクタの様々な動きに対応しますが、キャラクタと衣服テンプレートに依存し、体型や衣服の異なるキャラクタに対しては、新しいアセットでデータセットを再生成し、ネットワークを再トレーニングする必要があります。