北京電影学院やテルアヴィヴ大学、北京大学、ヘブライ大学による研究チームは、動画内の人の動きを別の動画内人物へ再構築する2Dモーションリターゲティング・フレームワークを発表しました。
論文：Learning Character-Agnostic Motion for Motion Retargeting in 2D
著者：Kfir Aberman, Rundi Wu, Dani Lischinski, Baoquan, Daniel Cohen-Or
所属：Beijing Film Academy, Tel-Aviv University, Peking University, Hebrew University
3つの動画から人の特徴を抽出し組み合わせて新しい動画を生成する概略図。上段で人の動きを抽出、中段で人のスケルトンを抽出、下段でカメラアングルを抽出。
既存のリターゲティングアプローチは、2Dから3Dへのポーズやカメラパラメータを回復しますが、依然としてエラーが多いプロセスです。そこで本論文は、3Dに変換することなく、2D上で直接モーションリターゲティングするフレームワークを提案します。本提案は、動的な部分（モーション）と静的な部分（スケルトンとビューアングル）とを分解することを学習するために訓練されるdeep learningを用います。それぞれの分解を再構成して新しい組み合わせを形成します。
コア技術は、2D関節位置の時系列を分解および再構成するように訓練したマルチエンコーダ／シングルデコーダニューラルネットワークです。データセットは、Mixamo 3Dアニメーションコレクションを使用して2Dモーションデータセットを構築、これは似たような動作をする異なるキャラクタのスケルトン、異なるビューからどのように見えるかを示す500,000サンプルを超えるラベル付きデータセットです。
これらのことにより、任意のモーションを任意のスケルトンと組み合わせて、任意のビュー方向から2D再構築することを可能にします。また、似たような動きをビデオデータセットから検索するモーション検索システムとしてのアプリケーションも紹介されます。
