筑波大学と豊橋技術科学大学、1枚の静止画像(主に風景)からより写実的なループアニメーション(シネマグラフ)を生成するDeep learningを用いた手法を発表

筑波大学と豊橋技術科学大学による研究チームは、1枚の静止画像から写実的なループアニメーション(シネマグラフ)を生成するDeep learningを用いた手法「Animating Landscape」を発表しました。

論文:Animating Landscape: Self-Supervised Learning of Decoupled Motion and Appearance for Single-Image Video Synthesis

YUKI ENDO, University of Tsukuba & Toyohashi University of Technology
YOSHIHIRO KANAMORI, University of Tsukuba
SHIGERU KURIYAMA, Toyohashi University of Technology

本研究は、1枚の静止画像(主に空の雲や湖の水の動き、1日の昼夜変化などを含む風景のシーン)を対象に、最小限のユーザ入力で自然なシネマグラフを生成するCNN(Convolutional Neural Network)を用いた手法を提案します。

提案手法では、動画中のアニメーションを、動きと色の変化の2つの要素に分解して、2種類のニューラルネットワークモデルで別々に非同期学習させます。各モデルには画像を直接生成させるわけではなく、入力画像を変換するための色変換マップと流れ場を予測させ、これらに正則化をかけることで、モデルの汎化性能を向上させます。

これにより、既存手法よりも格段に高解像度で、長く滑らかなアニメーションを実現します。さらに、ユーザは少数のパラメータ(例えばモーションの動き方のタイプや速度など)を調整することで、最終的に出力されるアニメーションをコントロールすることもできます。

ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る