ドイツのマックス・プランク研究所、ドイツのザールラント大学、英国バース大学の研究者らは、ある物体の質感や色、光、などをリアルタイムに変更することができる技術を論文にて公開しました。
Live User-Guided Intrinsic Video For Static Scenes(PDF)
物体をRGB-Dセンサーを使用してジオメトリモデルを取得、ボリュームフレームワークを使用して3Dシーンを再構成します。
得られた再構成は、ユーザーが物体にタッチなどすることで、質感変更、色変更、光変更などの編集をリアルタイムに操作することを可能にします。
本アプローチは、リアルタイムのフレームレートで実行される再クロッピング、マテリアル編集、リライティング(光の再構成)などのアプリケーションに適用されるとしています。
関連
UCバークレー、Deep learningを用いて白黒画像をリアルタイムに色付けする提案を発表。画像内の任意ポイントを選択すると推奨カラーを10色提示してくれる | Seamless