EPFL、ハエの動きを3Ｄで姿勢推定できるDeep learningを用いたモーションキャプチャ「DeepFly」発表。小型の自律飛行ロボットに活用

スイス連邦工科大学ローザンヌ校（EPFL）による研究チームは、ハエの動きを3Ｄで姿勢推定できるDeep learningを用いたモーションキャプチャソフトウェア「DeepFly」を発表しました。

論文：DeepFly, a deep learning-based approach for 3D limb and appendage tracking in tethered adult Drosophila

Semih Günel 1,2, Helge Rhodin1, Daniel Morales 2, João Compagnolo 2 , PavanRamdya 2, Pascal Fua1

1 School of Computer and Communication Sciences, Computer Vision Laboratory, EPFL,Lausanne, Switzerland;
2 School of Life Sciences, Brain Mind Institute & Interfaculty8 Institute of Bioengineering, Neuroengineering Laboratory, EPFL, Lausanne, Switzerland

複数のカメラビューを使用して3次元のハエの動きをモデル化するDeep learningに基づくモーションキャプチャソフトウェアを開発しました。本研究は、ハエの3Dポーズを推測するための計算パイプラインを提案します。

実験では、小型のトレッドミルのような小さなボールの上にハエを歩かせ、7台のカメラですべての動きを記録しソフトウェアによって処理します。このようなDeep learningをもちいて人や動物などの生物を3次元で推定する研究は多くされていますが、ハエのような小さな生き物でこれだけ正確に取得できるのは初めてではないかと思います。

取得したデータは、どこでも登れたりハエの神経回路が手足の動作をどのように調整するかの研究に役立ち、それは小型の自律飛行ロボットを設計するために活用できるのではと考えています。