産業技術総合研究所の研究者らは、ダンス動作をクエリとしてダンス楽曲を検索できる楽曲検索システム「Query-by-Dancing」を発表しました。
論文：Query-by-Dancing: 身体動作の類似性に基づくダンス楽曲検索システム
著者：土田 修平, 深山 覚, 後藤 真孝
本システムのユーザーインターフェース
本論文は、ダンス動作を入力に、類似するダンス楽曲を検索するシステムを提案します。クエリであるダンスに含まれるポーズ（姿勢）とモーション（動作）を抽出し、それらに類似したポーズとモーションが含まれるダンス動画を検索します。
本提案手法は、ダンス動作を撮影した動画を入力とし、前処理としてOpenPoseを用いて、すべてのフレームに映っている人の2Dポーズを推定します。推定された2Dポーズ情報から得られる17個の関節角度すべてを1フレームごとに計算し、フレーム間の類似度と重要度を算出します。
本システムの処理フロー
これにより、ダンス動作のポーズとモーションの分析に基づいて、ダンス動画データベースからクエリのダンス動作に似た動作を含むダンス動画を検索することが可能となります。
本研究は、楽曲とダンス動作が対応付いた大規模なコンテンツデータを活用する研究のうち、ダンス動作を扱う視点からの研究です。今後、本研究をきっかけとして、楽曲を扱う視点からの研究を含め、大規模なコンテンツデータを活かした様々な研究を行い、インタラクション研究の発展に繋げていきたいとのことです。