Instagram、スマートフォンを用いて、より自然かつリアルタイムにメイキャップできるAR技術を発表

Instagramの研究チームは、スマートフォン越しに顔へ化粧するAR技術を発表しました。

論文:Realistic AR Makeup over Diverse Skin Tones on Mobile

著者:Bruno Evangelista, Houman Meshkin, Helen Kim, Anaelisa Aburto, Ben Max Rubinstein, Andrea Ho
所属:Instagram

本論文は、スマートフォンを用いて、顔に重ねるようにメイキャップできるAR技術を提案します。本提案手法は、ライブビデオストリーム上で行われ、フェイストラッキングから唇、目、頬などの顔領域を定義し、メイキャップアクセサリをレンダリング、元画像とブレンドします。さらに、より自然に見せるため、スキンスムージングとトーンマッピングを適用します。

シェーディングアルゴリズムは、メイキャップカラーをあらかじめ計算されたアンビエントオクルージョンマップと組み合わせ、その結果をLAB空間に変換します。明るいメイキャップ領域の反射をシミュレートするための環境マッピングも使用します。

これらのことにより、多様な肌に対して、ファンデーションから口紅、まつげや眉毛まで、顔全体のより自然なメイキャップを可能にします。