ElITやワルシャワ工科大学の研究チームは、Web上でビデオを漫画に変換する機械学習を用いたパイプライン「Comixify」を発表しました。
論文：Comixify: Transform video into a comics
著者：Maciej Pęśko, Adam Svystun, Paweł Andruszkiewicz, Przemysław Rokita, Tomasz Trzciński
所属：Faculty of Electronics and Information Technology, Warsaw University of Technology
本論文は、動画を漫画形式に変換するWebで動作するアルゴリズムを提案します。本提案手法は、フレーム抽出とスタイル転送の2つのタスクに分かれています。
動画から意味のあるフレームを抽出するために、Reinforcement Learningに基づくキーフレーム抽出アルゴリズムを使用し、そのスタイルを漫画に移すために、Generative Adversarial Network（GAN）モデルを実装します。
2fpsでビデオをサンプリングした後、抜粋したハイライトを選択し、画像を審美推定エンジンで評価し、最後に漫画形式に転送し仕上げます。
デモはこちら。
