ディズニーの研究機関「Disney Research」は、Machine Learningやロボティクスなど多彩なジャンルを研究していますが、その中の1つに、CG（Computer Graphics）があります。とりわけ人間をリアルに再現するパーツごとの研究が目を引きます。今回はそんな人間の細部に拘るCG研究4本をご紹介します。
「歯」のモデルを忠実に再現する 技術
論文：Model-Based Teeth Reconstruction
C. Wu ¹ D. Bradley ² P. Garrido ³ M. Zollhöfer ³ C. Theobalt ³ M. Gross ¹ , ² T. Beeler ¹
¹ Disney Research ² ETH Zurich ³ Max Planck Institute for Informatics
歯の正確なレンダリングは、表情をリアルに表現するために重要な要素の１つです。 しかしながら、現在の高品質な顔のアニメーションは面倒な手作業で作成された歯列モデルに頼っています。一方で、歯科では特別な口腔内用スキャナーが開発されましたが、侵襲的であり、かつ高価で容易に手に入りません。
そこで本研究は、口領域の写真セットや短い動画から、人物ごとの歯列全体を非侵襲的に再構成するためのアプローチを提案します。本アプローチは、新しいパラメトリック歯列をベースとしており、特別な装置は必要とせずモバイルデバイスのカメラで実行、キャリブレーションされていない写真や携帯端末からの短い動画から、高品質な歯のモデリングを可能にします。
「顎」の動きを忠実に再現する技術
論文：An Empirical Rig for Jaw Animation
Gaspard Zoss（Disney Research）
Derek Bradley （Disney Research）
Pascal Bérard （Disney Research, ETH Zurich）
Thabo Beeler （Disney Research）
本研究では、複雑な顎運動をよりリアルに再現するための手法を提案します。 人間の下顎の骨は、顎関節（がくかんせつ/TMJ）を介して両サイドで頭蓋骨と連結しています。口を開閉すると、そのTMJが働き、連結部分の下顎頭が頭蓋骨を前後に滑るように動作し機能させます。
b）小さく口を開けた場合は、回転だけで済むが、c) さらに大きな口を開くと下顎頭が摺動する。
つまり、肘関節などのように、固定された回転軸として連結されているわけではなく、回転運動に加えて下顎の骨がズレるように運動する仕組みになっているのです。
本研究では、そんな複雑な顎運動の多様な構造をモデル化し、より現実的な顎関節運動を再構築する手法を提案します。顎の動きを再現するため、被験者の上下の歯にマーカータグを取り付け、4つの異なる視点から顎運動をトラッキングします。
モデル化したリグは、顔のアニメーションに適応し、さらに、キャラクタのリグを別のキャラクタに適応させるリターゲットも実証しました。デモ映像では、人間の顎の動きを恐竜に適応し駆動させている様子を確認することができます。
「目」のモデルを忠実に再現する技術
論文：Practical Person-Specific Eye Rigging
Pascal Bérard, Derek Bradley, Markus Gross, Thabo Beeler
Disney Research, ETH Zurich
本研究は、眼のアニメーション作成において、高精度で姿勢を再構成できる手法を提案します。眼はリアルなデジタルキャラクタを作る上で重要な顔のパーツの1つです。従来アイリグを作成するときは、眼球を球体と考え視線の方向が眼の光軸と同一と理解し回転させていました。
しかしながら、本来の眼の形状は球体ではなく、また視線方向も後部の中心窩から発する瞳孔の中心を通る光線によって形成される視軸に対応します。これは非常に重要なディテールであり、不気味な視線を引き起こす十分な理由になります。したがって、本手法は視線方向の考え方をより正確なものに対応します。
加えて、眼球の回転を制御するのは6つの筋肉を使用しているため、こちらも考慮し眼の回転を適切に計算することで回転中のねじれをモデル化します。
これにより、より自然な眼球の姿勢を再構成します。またアイリグは、リグ設定を定義する複数のパラメータで構成され、そのパラメータの推定に必要なイメージキャプチャシステムも紹介します。このキャプチャシステムを用いることで、眼球の形状、回転の中心、眼球間の距離、視覚軸、およびその他のリグパラメータを正確に推定して、アニメーションに対応したアイリグを作成します。
「皮膚」の動きを忠実に再現する技術
論文：Practical Dynamic Facial Appearance Modeling and Acquisition
Paulo Gotardo, Jérémy Riviere, Derek Bradley, Abhijeet Ghosh, Thabo Beeler
Disney Research, Imperial College London
本研究は、複数台のカメラから取得した画像を用いて、動的な顔の肌を取得する手法を提案します。顔を現実的にレンダリングするためには、光が皮膚と相互作用する方法を忠実に再現することが必要です。
本提案手法では、皮膚の表面での反射を説明する角質層と、内部を説明する拡散層からなる2層を材料として皮膚をモデル化します。顔の表情と血流（ヘモグロビン濃度）の変化を考慮した拡散アルベドや、スペキュラ強度などを計算し、フレームごとのノーマルマップも構築します。そして、パフォーマンスキャプチャデータにモデルを適合させます。
顔を捉えるキャプチャシステムは、Multi-View Stereoジオメトリを再構成するためのモノクロカメラ8台と、外観キャプチャ用のカラーカメラ4台、合計12台のカメラで構成し、これらからテクスチャを計算します。このように、本提案手法は、数台のカメラから以下のようなよりリアルな顔の表情を再構築することを可能にします。