MIT、カメラに写る画像を実物に触れずリアルタイムに揺らす新技術「IDV」を発表。ポケモンGOへの応用として実写背景をインタラクティブに動作させるデモ映像も公開

マサチューセッツ工科大学(MIT)のコンピュータ科学・人工知能研究所(CSAIL)は、新たなイメージング技術「Interactive Dynamic Video(IDV)」を発表しました

IDVは、CSAILの学生Abe Davis氏とJustin G. Chen氏、そしてFredo Durand教授によって研究論文として発表されたものです。

mit4

IDVとは?

カメラに写るオブジェクトを実物に触らずに画像内を操作しリアルタイムに揺らしてしまう技術です。既存カメラと新しいアルゴリズムを使用し実現します。

最初に小さく振動するオブジェクトの映像をキャプチャし、そこから分析・計算することで学習し有用な力学モデルを抽出、アニメーション化を実現します。解析用のオリジナルビデオは、数秒(デモでは5秒)でいいとのこと。あとはデバイス越しにオブジェクトの任意の箇所をインタラクティブに操作すると、大小の振動を予測し実物に触らずしてリアルタイムに揺らすことを可能にします。

mit

映像による解説はこちらから確認できます

 

AR(Pokemon GO)への応用

もともと3Dモデルで行っていた橋などの建築物の耐震テストや映画の低価格な特殊効果に使われると想定されていますが、Abe Davis氏はARにも応用できるとし、流行中のPokemon GOのポケモンを使用したデモ映像を公開しました。

本家Pokemon GOとはなんら関係ないですが、ARに写るポケモンとその背景、この背景画像をポケモンの動きと連動させてインタラクティブに動かすことに活用できるのではと。彼は、IDVのAR応用をDynamic Augmented Reality (DAR)と呼んでいます。

mit1

IDV×Pokemon GOの映像はこちら

 

IDVのページはこちら。今回のCSAILによる発表ページはこちら。論文はこちら。(PDF)

アーカイブ

ページ上部へ戻る