Googleは、CNN（Convolutional neural network）を用いて人物などの前景と背景をリアルタイムに分離できる新しいセグメンテーション技術を発表しました。
本技術は、モバイルで撮影した人物と背景を分離し、背景を自由に変えることを可能にする軽量ビデオフォーマットです。クロマキー合成のように特殊な機材などを使用することなく、モバイルベースで手軽に行うことができます。
この機能は、YouTubeにおいて動画をスマートフォンなどで撮影/編集/投稿するストーリーフォーマットに統合され、機能の一つとして利用することが可能になります。
機械学習も用いており、背景から前景を分離するなどの計算処理能力を上げるため、CNNアーキテクチャを構築し数十万のラベル付き画像で訓練しました。
結果、Pixel 2で毎秒40フレーム、iPhone 7で100フレーム以上と高速で動作することを実現しました。
関連
Facebook、リアルタイムで体のポーズを検出し、人を背景から分離させる新しい機械学習フレームワーク「Mask R-CNN2Go」を発表。モバイル使用も可能 | Seamless