ElITなど、Web上で動画を漫画に変換する機械学習を用いた手法を発表。今すぐ試せるデモあり

ElITやワルシャワ工科大学の研究チームは、Web上でビデオを漫画に変換する機械学習を用いたパイプライン「Comixify」を発表しました。

論文:Comixify: Transform video into a comics

著者:Maciej Pęśko, Adam Svystun, Paweł Andruszkiewicz, Przemysław Rokita, Tomasz Trzciński
所属:Faculty of Electronics and Information Technology, Warsaw University of Technology

本論文は、動画を漫画形式に変換するWebで動作するアルゴリズムを提案します。本提案手法は、フレーム抽出とスタイル転送の2つのタスクに分かれています。

動画から意味のあるフレームを抽出するために、Reinforcement Learningに基づくキーフレーム抽出アルゴリズムを使用し、そのスタイルを漫画に移すために、Generative Adversarial Network(GAN)モデルを実装します。

2fpsでビデオをサンプリングした後、抜粋したハイライトを選択し、画像を審美推定エンジンで評価し、最後に漫画形式に転送し仕上げます。

デモはこちら

About

テクノロジーの最新研究を紹介するWebメディア。山下が個人運営と執筆を行う(連載除く)。ITmedia NEWSさんでも執筆中。Seamlessをサポートできるプログラムも実施中。

yamashita.mailer(a)gmail.com

連載

ページ上部へ戻る