Googleの研究者らは、ビデオ内の特定のオブジェクトに追跡し色付けすることで、コンピュータビジョンにおけるビジュアルトラッキングの教師なし学習を可能にする技術を発表しました。
論文：Tracking Emerges by Colorizing Videos
著者：Carl Vondrick, Abhinav Shrivastava, Alireza Fathi,Sergio Guadarrama, Kevin Murphy
コンピュータビジョンにおいて物体を追跡する学習は、訓練のために大量のラベル付きデータセットを必要とします。その問題を解決するため、本稿は、白黒ビデオの特定のオブジェクトを追跡し、色付けする機械学習を用いた手法を提案することで教師なしで追跡することを可能にする解決策を示します。
本提案手法は、Kineticsビデオデータセットを用いて、最初のフレーム以外を白黒に変換後ニューラルネットワークを訓練し、参考フレームから次のフレームの色を推定します。ビデオを色づけすることによって、ビデオのセグメンテーションや人の姿勢追跡に役立ちます。
実験の結果、追跡失敗はカラー化失敗と相関しており、ビデオのカラー化は、教師なしでビデオ内のオブジェクトを追跡するための学習に使用できるとし、また、ビデオのカラー化モデルをさらに改善すれば、自主監視による追跡の進展に繋がる可能性も示唆しました。