筑波大学と豊橋技術科学大学、1枚の静止画像(主に風景)からより写実的なループアニメーション(シネマグラフ)を生成するDeep learningを用いた手法を発表

筑波大学と豊橋技術科学大学による研究チームは、1枚の静止画像から写実的なループアニメーション(シネマグラフ)を生成するDeep learningを用いた手法「Animating Landscape」を発表しました。

論文:Animating Landscape: Self-Supervised Learning of Decoupled Motion and Appearance for Single-Image Video Synthesis

YUKI ENDO, University of Tsukuba & Toyohashi University of Technology
YOSHIHIRO KANAMORI, University of Tsukuba
SHIGERU KURIYAMA, Toyohashi University of Technology

本研究は、1枚の静止画像(主に空の雲や湖の水の動き、1日の昼夜変化などを含む風景のシーン)を対象に、最小限のユーザ入力で自然なシネマグラフを生成するCNN(Convolutional Neural Network)を用いた手法を提案します。

提案手法では、動画中のアニメーションを、動きと色の変化の2つの要素に分解して、2種類のニューラルネットワークモデルで別々に非同期学習させます。各モデルには画像を直接生成させるわけではなく、入力画像を変換するための色変換マップと流れ場を予測させ、これらに正則化をかけることで、モデルの汎化性能を向上させます。

これにより、既存手法よりも格段に高解像度で、長く滑らかなアニメーションを実現します。さらに、ユーザは少数のパラメータ(例えばモーションの動き方のタイプや速度など)を調整することで、最終的に出力されるアニメーションをコントロールすることもできます。

About

テクノロジー系の最新論文を紹介しているWebメディアです。山下が個人で運営し、執筆も連載除いて行なっています。ITmedia NEWS様でも執筆しています。Seamlessをサポートできるプログラムも行なっています。

yamashita.mailer(a)gmail.com

連載

ページ上部へ戻る