清華大学の研究者は、まぶたの動きをリアルタイムに追跡し、眼球の動きと顔の動きとを組み合わせてより詳細(リアリティ)な動きを再現する提案を論文にて公開しました。
Real-time 3D Eyelids Tracking from Semantic Edges(PDF)
本稿では、単一のRGB-Dカメラでリアルタイムに捉えたまぶた(眼瞼、がんけん)の形状と動きを再現し、顔と眼球の追跡と統合、より詳細な顔面の動きを実現する手法を提案します。
これらは、片目に対してまぶたの上(二重まぶたの場合2本)と、下(膨らみがある場合は2本)のエッジを検出し識別するなどして実現します。
実験では、異なる人種、異なるまぶたの形状や動きに対しても適用し、頭の動きや視線の動きの変化にも対応できることを実証しました。
関連
カメラ、ケーブル、マーカー、ヘッドセットなしにリアルタイムで顔の表情をキャプチャしアバターで再現するスマートグラス「OCOsense」が登場 | Seamless