Oculusは、音声を自動的に検出し、仮想キャラクタの唇の動きに音声ストリームを変換することを目的としたUnity5向けプラグイン「Oculus OVRLipSync for Unity 5」ベータ版をリリースしました。UnityのVR/AR向け開発者カンファレンスVision Summitで発表された当プラグインは、マイクからのライブチャット音声をキャプチャし、分析したライブオーディオストリームを生成、アバターの口のアニメーションに変換するリップシンク（口パク）システムになります。
「FaceRig」などのように、Webカメラでユーザーの口をキャプチャし同じ動きをアバターにリアルタイム表示させるのではなく、マイクで音声を拾い、音を識別して適切な動きを与えるというシステムになっています。
システムは、オーディオストリームを処理し「Visemes」と呼ばれる音の素を求めます。基本口形状というもので、予めいくつかの基本的な口の動きを用意しておいて、入手した音声を当てはめて出力していくといった仕組みです。今回の場合は、現時点で15パターンを設定していて、その中での組み合わせで表現するとしています。
テスト映像を見ると、やや遅延が気になりますが、しっかりと音声について来ています。一方、こちらのテスト動画（youtube）では反応が良く自然に動いているのが見て取れます。ダウンロードはこちらから。