NTTコミュニケーション科学基礎研究所による研究チームは、元の色やテクスチャを変えることなく、静止物に動的印象を与えることができるより最適化された投影技法を発表しました。
論文：Perceptually Based Adaptive Motion Retargeting to Animate RealObjects by Light Projection
著者：Taiki Fukiage, Takahiro Kawabe, and Shin’ya Nishida
所属：NTT CommunicationScience Laboratories
本論文は、変幻灯（Deformation Lamps）を拡張した投影技法になります。変幻灯とは、静止物に動きを誘導するパターンを投影することにより、リアルな動きの印象を与える人間の錯覚を利用した投影技法です。コンピュータの中で静止対象が動く映像を作成し、そこからモノクロの動き情報を取り出したものを投影することで、画像としては正しく動画になっていないが、それを見た人間の脳は、まるで正しい動画であるように知覚します。
しかしながら、この方法では最適な誘導パターンを決定することができず、誘導パターンが一定の限界を超えて逸脱した場合に引き起こされる「主観的不一致」が起こりアーティファクトを認識します。そこで、本論文ではこの「主観的不一致」を予測する知覚モデルを提案し、知覚モデルに基づいて移動量を最適化するアルゴリズムを提案することで、よりリアルな動きを再現します。
本論文で提案する知覚モデルでは、まず各フレームについて、投影結果を再現した画像と、そのフレームにおける理想的な見え方を再現した画像を生成します。さらに、この2つの画像を人間の視覚系の計算モデルに入力し、画像間の知覚的な距離を算出することで、主観的不一致の程度を予測します。論文では、様々な条件下で観察者が感じる主観的不一致の程度を測定し、提案した知覚モデルでデータが上手く予測可能であることを実証しました。
提案手法では、この知覚モデルが予測する主観的不一致の程度がある閾値を超えないように移動量を最適化します。この最適化手法を評価する実験として、どの閾値が最も満足のいく結果を与えるかを調べ、決定した閾値を用いて知覚される印象を評価します。4枚の写真（木、バッハ、魚、ボート）を投影ターゲットとして使用し、結果、提案手法が実際の条件下でうまく機能することを実証しました。この知覚に基づく最適化によって、人は知覚的に許容できる効果を得ることができ、よりリアルなアニメーションを体感することができるようになります。また、この最適化アルゴリズムはリアルタイムに機能しますので、対話型アプリケーションへの適応も可能にします。