Googleなど、2種類の顔映像から多数の照明条件を推定し写実的に描画できるdeep learningとLightStageを用いた動的リライティング技術を発表

MPI-Inf、SIC、Google、スタンフォード大学による研究チームは、2種類の顔画像から任意の照明下で動的被写体を照らすことができるdeep learningとLightStageを用いた手法を発表しました。

論文:Deep Reflectance Fields

著者:Abhimitra Meka, Christian Haene, Rohit Pandey, Michael Zollhöfer, Sean Fanello, Graham Fyffe, Adarsh Kowdle, Xueming Yu, Jay Busch, Jason Dourgarian, Peter Denny, Sofien Bouaziz, Peter Lincoln, Matt WhalenGeoff Harvey, Jonathan Taylor, Shahram Izadi, Andrea Tagliasacchi, Paul Debevec, Christian Theobalt, Julien Valentin, Christoph Rhemann
所属:Max Planck Institute for Informatics, Saarland Informatics Campus, Google,Stanford University   

顔画像の照明を後から修正し写実的に描画することは、ヴァーチャルリアリティなどにおいて多くの視覚効果をもたらします。しかしながら、顔領域は目や歯などパーツが多いのに加えて、鏡面反射や表面下散乱など複雑で困難なのが現状です。そこで本論文は、顔反射率のモデルを学習することにより、人間の顔の照明を推定しより高品質に描画する画像ベースのリライティング技術を提案します。

2種類の画像とライティング方向を入力に、U-Netアーキテクチャを介して推定する

提案手法は、LightStageでキャプチャした顔画像からネットワークを学習します。LightStageとは、全方位に331個の照明と複数カメラで構成された直径3.5mの球形ドーム型キャプチャシステムです。大量の照明を制御しながら顔の形状や質感を高品質に取得できます。

そんなLightStageを用いて30fpsで顔をキャプチャし、画像から推定するためのdeep learningモデルを学習します。これにより球面照明下で撮影した2種類の顔画像とライティング方向を入力に、指定した照明条件の推定と再構築を可能にします。


ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る