Facebook AI Researchによる研究チームは、ビデオシーケンスから人物を抽出し、人物を2D制御信号に従って任意の背景で再アニメーション化するための学習法「Vid2Game」を発表しました。
論文：Vid2Game: Controllable Characters Extracted from Real-World Videos
著者：Oran Gafni, Lior Wolf, Yaniv Taigman
所属：Facebook AI Research
本論文は、制御されていない動画の人物を抽出し、その動きを別動画で制御できる機械学習アーキテクチャを提案します。本提案を用いることで、通常のビデオ内から人物の動きを抜き出し、別の背景に登場させ上下左右にコントロールすることを可能にします。
本提案は、前ビデオシーケンスからターゲットとなる人物の動きを抽出しポーズをポーズを生成します。生成したポーズをもとに、影やアクション含めた操作可能な人物を別背景に挿入し新たなビデオを作成します。具体的には、２つのネットワークを使用します。 1つ目はPose2Pose（P2P）ネットワークで、制御信号の入力に基づいて、自己回帰的に特定のポーズを作成します。 2つ目はPose2Frame（P2F）ネットワークで、背景画像に生成したポーズを組み込んだ高解像度ビデオフレームを生成します。