アーヘン工科大学と南カリフォルニア大学による研究チームは、104個の非同期Raspberry Piとカメラモジュールを用いて人の3D映像を録画し生成する低コストシステムを発表しました。
論文:Volumetric Video Capture Using Unsynchronized, Low-Cost Cameras
著者:Andrea Bönsch, Andrew Feng, Parth Patel, Ari Shapiro
所属:RWTH Aachen University, University of Southern California
実写の人の動き録画し再構築するには、複数の同期された高品質カメラを使用し生成しますが、本論文では、104個の非同期Raspberry Pi 2 Modules B+とRaspberry Pi RGB camera module rev 1.3を使って、安価なキャプチャケージから3Dデータを生成するアプローチを提案します。
提案されたシステムは、まず異なる視点から妥当なフレームレート(20~24fps)で撮影し、2つのカメラフラッシュ(Neewer NW670 E-TTL)に基づき同期、写真測量法を用いてメッシュの3Dレンダリングを実行します。
出力結果は、髪の毛および衣服のひだも再現したテクスチャ付きレンダリングを可能にします。ただし、カメラのキャプチャフレームレートが制限されているので、素早い動きには弱くぼやけたフレームを生成します。また、作成時間も長く24fps、30秒の映像で合計4.16時間(フラッシュ検出90分、メッシュ生成120分、その他)かかるとしています。