Samsungが韓国と米国に出願していたHMDの画像の生成および処理に関する新たな特許が公開されました。タイトルは、「Image processing for Head mounted display devices」です。
新たな特許は、HMD着用者の顔の表情をもう片方の別HMD着用者へ送り認識させるというものです。しかも、HMDで覆われている部分と覆われていない部分、HMD内の顔の動きと外の背景画像などを合成させ、相手にあたかもHMDをかぶっていない画像を表情込みでリアルタイムに見せることができるという特許です。ビデオ会議という言葉も度々登場しました。
下記のイメージ画像のようにGear VRに似た図もありましたが、次世代Gear VRに今回の発明が搭載されるかは不明です。
外部カメラ
新たな特許では、外部カメラデバイスが登場します。外部カメラは、有線または無線ネットワークを使用してHMDデバイスと結合され、HMD装着者の近くに配置されます。そして、装着者の表情（HMDに覆われていない箇所）及び動き、並びに装着者の背後（部屋の背景）を記録します。ライブビデオストリームでキャプチャされ、ネットワークを介してリアルタイムに送信、別HMD着用者がビデオストリームで視聴できるようにします。
冒頭の画像に写っている図のように、これらやり取りはHMD着用者同士、双方向で行われる通信システムになります。しかし、ここで問題になってくるのが、外部カメラでは捉えることのできないHMD内部の表情です。
HMD内の顔上部追跡
HMD内側では、複数のセンサーにより視線追跡および顔追跡を行えるようになっています。複数センサーには、目の動きを追跡するために電気眼球図（electrooculography： EOG 下図1605a）センサーが整備され、眉などの顔上部をトラッキングするために筋電図(electromyography：EMG 下図1605)センサーが整備されています。
ユーザの顔面における筋肉の動きによって生成される電気インパルスをEMGが検出し、眉毛などの一部の動きを決定します。EOGセンサユニットは、電極プローブを介して眼の動きを検出し電位を測定します。取得した追跡データは、先ほど紹介した外部カメラへ送信され処理し、顔の特徴がどのように動かされたかを決定する仕組みになっています。
パッチ画像
そして、HMDの外と中を合成することで、HMDが取り外されてるように背景画像含む顔全体のシミュレーションをレンダリングすることができ、リアルタイムに顔の表情などを双方向的にやり取りすることが可能になります。
ちなみに、これら合成データは、ライブビデオフィードのフレームではなくレンダリングされた3次元モデルになります。また、合成データはHMDだけでなくテレビ、スマートフォン、タブレット、任意のコンピューティングデバイスまたはディスプレイデバイスなどに送信することも可能にしています。