筑波大学と豊橋技術科学大学、1枚の静止画像（主に風景）からより写実的なループアニメーション（シネマグラフ）を生成するDeep learningを用いた手法を発表

筑波大学と豊橋技術科学大学による研究チームは、1枚の静止画像から写実的なループアニメーション（シネマグラフ）を生成するDeep learningを用いた手法「Animating Landscape」を発表しました。

論文：Animating Landscape: Self-Supervised Learning of Decoupled Motion and Appearance for Single-Image Video Synthesis

YUKI ENDO, University of Tsukuba & Toyohashi University of Technology
YOSHIHIRO KANAMORI, University of Tsukuba
SHIGERU KURIYAMA, Toyohashi University of Technology

本研究は、1枚の静止画像（主に空の雲や湖の水の動き、1日の昼夜変化などを含む風景のシーン）を対象に、最小限のユーザ入力で自然なシネマグラフを生成するCNN（Convolutional Neural Network）を用いた手法を提案します。

提案手法では、動画中のアニメーションを、動きと色の変化の2つの要素に分解して、2種類のニューラルネットワークモデルで別々に非同期学習させます。各モデルには画像を直接生成させるわけではなく、入力画像を変換するための色変換マップと流れ場を予測させ、これらに正則化をかけることで、モデルの汎化性能を向上させます。

これにより、既存手法よりも格段に高解像度で、長く滑らかなアニメーションを実現します。さらに、ユーザは少数のパラメータ（例えばモーションの動き方のタイプや速度など）を調整することで、最終的に出力されるアニメーションをコントロールすることもできます。