ケンブリッジ大学ら、動画内の人の視線方向を後から変更することができる技術「GazeDirector」発表

ケンブリッジ大学、カーネギーメロン大学、マックス・プランク情報科学研究所、Microsoftの研究者らは、動画内の人の視線をリダイレクトする新しいアプローチ「GazeDirector」を発表しました。

論文:GazeDirector: Fully Articulated Eye Gaze Redirection in Video
著者:Erroll Wood、 Tadas Baltrusaitis、 Louis-Philippe Morency、 Peter Robinson、 Andreas Bulling

本稿は、個人固有のトレーニングデータを必要とせずとも、動画内の人々が見ている視線方向を正確に指定することができるアプローチを提案します。

提案手法は、目領域の追跡と視線のリダイレクションという2つの段階で構成されます。

両目に目領域の3D変形可能モデルを適合させます。次に、元の視線と所望の視線方向との間の眼瞼運動に対応するモデルを計算し、まぶたを歪ませ、リダイレクトされた眼球をフォトリアリスティックな方法でレンダリングし合成させます。眼球と皮膚の境界をぼかすことで、トランジションを柔らかくしています。

これらにより、後から人の眼球を任意の角度に移動することができ、例えば、集合写真で全員をカメラ目線にしたり、CGキャラクタとの対話で視線を合わせる調整をしたり、などが可能になります。

(a:赤枠の3人がカメラ目線でない。b:その3人をカメラ目線に再構成。cとd:CGキャラクタの位置に合わせて視線を調整。)

ただし、まばたきや、眩しい時に目を細める仕草、メガネなど目の前に物体がある場合に対しては扱っておらず、また、まつ毛も考慮していないとしています。

 

関連

NVIDIAら、Conditional GANを用いて任意の画像から2048×1024高解像度のフォトリアリスティックな画像合成モデルを生成できる手法を論文にて発表 | Seamless

ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る