群馬大学 奥研究室の研究者らは、料理へのプロジェクションマッピングを実現する技術「Edible Projection Mapping」を発表しました。
論文：Edible Projection Mapping: application example in a cafeteria
著者：Hiromasa Oku, Miyu Nomura, Kumi Shibahara, Akihiro Obara
本論文は、料理を動かしても張り付いているかのように投影する食べられるプロジェクションマッピング法を提案します。本提案手法は、料理上に載せた食べられる再帰性反射材を手がかかりに、高速カメラで認識し追跡するプロジェクションを可能にします。
同研究室が以前に開発した動的対象へのプロジェクションマッピング技術「ルミペン」と、同じく同研究室が開発した「食べられる再帰性反射材」を組み合わせた技術になります。
「ルミペン」は、高速ビジョンとサッカードミラーを用いた高速視線制御光学系 （1msオートパン・チルト技術）と、高速ビジョンと光軸を一致させたプロジェクタによるもので、ミラーを高速に動かし追従させることでボールなどの動的オブジェクトを捉えることを実現する技術です。
「食べられる再帰性反射材」は、道路標識や自転車の反射板などに使われている再帰性反射材を寒天で再現したものです。照明とカメラを適切に組み合わせて再帰性反射材を撮影すると、画像中でとても明るく見える効果を利用して、画像処理用のマーカとして使用します。
寒天製の食べられる再帰性反射材
これら「ルミペン」と「食べられる再帰性反射材」を組み合わせることで、料理上にキャラクタを投影し、動かしても張り付いているかのように追従するアニメーションを提供することを可能にします。デモ映像では、トレイを動かすとキャラクタがパンケーキ上に表れ追従しながら動作し、さらに動かすと別れの挨拶をしてパンケーキ上から消えるといったインタラクションを表現します。
追記：2019.2.28
飴製の食べられる再帰性反射材のデモ映像を発表しました。食べられる再帰性反射材は寒天を素材とするものでしたが、体積の半分以上が水で構成されているため、乾燥に弱く比較的短時間で機能を失ってしまうという欠点がありました。そのため、乾燥に強く硬い飴を用いて再帰性反射材を作る方法を研究し、シリコンゴムを型とすることで再帰性反射材に求められる精密な形状をもつ飴を作成することに成功しました。