香港科技大学ら、映像からの動きを抽出し静的な2D手書き絵に適応させスケッチアニメーションを可能にするシステムを発表

香港科技大学と香港城市大学、Megvii Inc.の研究者らは、ビデオから動きを抽出し、静的な2Dスケッチ図に適応させアニメーション化するシステム「Live Sketch」を論文にて発表しました。

Live Sketch:Video-driven Dynamic Deformation of Static Drawings
著者:Qingkun Su, Xue Bai, Hongbo Fu, Chiew-Lan Tai, Jue Wang

本稿は、ビデオから抽出した変形ベースのモーション効果を静的な手書き絵に適用し、スケッチアニメーションの作成を可能にするアルゴリズムを提案します。

まず、映像からターゲットのモーションを抽出するにあたり、トラッキングのコントロールポイントを指定します。抽出したコントロールポイントは、指定した2Dスケッチ図へ自動的にマッピングされます。マッピング後にコントロールポイントの位置を変更することは可能。

また、動きの転送によりスケッチの一部がつぶれたりする場合は、潰れないように一部だけ固定する処理も可能。動きによってコントロールポイントが重なり合う場合も対処することができます。

デモ映像で多数の適応例を確認することができます。

関連

香港城市大学ら、手描きスケッチから法線マッピングを推論する敵対生成学習(Wasserstein GAN)を用いた手法を発表 | Seamless

ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る