Instagramの研究チームは、スマートフォン越しに顔へ化粧するAR技術を発表しました。
論文：Realistic AR Makeup over Diverse Skin Tones on Mobile
著者：Bruno Evangelista, Houman Meshkin, Helen Kim, Anaelisa Aburto, Ben Max Rubinstein, Andrea Ho
所属：Instagram
本論文は、スマートフォンを用いて、顔に重ねるようにメイキャップできるAR技術を提案します。本提案手法は、ライブビデオストリーム上で行われ、フェイストラッキングから唇、目、頬などの顔領域を定義し、メイキャップアクセサリをレンダリング、元画像とブレンドします。さらに、より自然に見せるため、スキンスムージングとトーンマッピングを適用します。
シェーディングアルゴリズムは、メイキャップカラーをあらかじめ計算されたアンビエントオクルージョンマップと組み合わせ、その結果をLAB空間に変換します。明るいメイキャップ領域の反射をシミュレートするための環境マッピングも使用します。
これらのことにより、多様な肌に対して、ファンデーションから口紅、まつげや眉毛まで、顔全体のより自然なメイキャップを可能にします。
