カリフォルニア大学バークレー校とDreamWorks Animationの研究者らは、deep learningを用いて、モバイル機器上でキャラクタを高品質かつリアルタイムに動かすための仕組みキャラクタリグ技術を発表しました。
論文：Fast and Deep Deformation Approximations
著者：Stephen Bailey,Dave Otte,Paul Dilorenzo,James F. O’Brien
ゲームやVRなどのインタラクティブなアプリケーションでのキャラクタは、計算コストが制限されるためキャラクタ品質が低下してしまう一方で、フィルムベースのキャラクタはマシンパワーにより高品質化が可能です。
そんなフィルム品質のキャラクタリグをリアルタイムアプリに適応し（最適化や並列化なしに）、さらにモバイル上（CPUのみの実装でも可能）でそのクオリティを保持しながら動作させることを目標としているのが本稿になります。
その一歩として、本稿では、deep learningを用いてキャラクタリグのメッシュ変形に必要な時間を短縮し計算量を削減することで、モバイル上でフィルム品質をインタラクティブに動作させる手法を提案します。
本提案手法は、メッシュの変形を線形部分と非線形部分に分割し既存のキャラクタリグから変形システムを学習、線形部分は直接計算し、残りの非線形部分はdeep learningを用いて推定します。
これにより、計算時間を5倍〜10倍に短縮でき、ローエンドのマシンやモバイル上で複雑なフィルム品質のリグをリアルタイムに実行することを可能にします。
ただし、キャラクタの骨格に関連付いているものしか実行できないため、関連付けられていないリグには適応できない制限があります。