Snap、1台のカメラから顔をリアルタイムに追跡するより安定したフレームワークを発表

Snapの研究者らは、1台のカメラから顔をリアルタイムに追跡するより安定したフレームワークを発表しました。

論文：Stabilized Real-time Face Tracking via a Learned Dynamic Rigidity Prior
著者：Chen Cao, Menglei Chai, Oliver Woodford, Linjie Luo

本提案手法は、一連の画像を入力とし、顔のランドマーク検出とオプティカルフローを計算し、それらを入力制約とします。そして、顔のパフォーマンスデータセットから学習した領域ベースの顔モデルを、ランドマークとオプティカルフローにマッチングすることで出力します。

出力結果は、バーチャルメイクアップやアバター転送などのアプリケーションでヘッドポーズと表情の追跡の安定性を実証します。