Oculus、ユーザーの音声会話を入手しアバターの口の動きへリアルタイムに変換するUnity5向けプラグイン「OVRLipSync」をリリース

Oculusは、音声を自動的に検出し、仮想キャラクタの唇の動きに音声ストリームを変換することを目的としたUnity5向けプラグイン「Oculus OVRLipSync for Unity 5」ベータ版をリリースしました。UnityのVR/AR向け開発者カンファレンスVision Summitで発表された当プラグインは、マイクからのライブチャット音声をキャプチャし、分析したライブオーディオストリームを生成、アバターの口のアニメーションに変換するリップシンク(口パク)システムになります。

1

FaceRig」などのように、Webカメラでユーザーの口をキャプチャし同じ動きをアバターにリアルタイム表示させるのではなく、マイクで音声を拾い、音を識別して適切な動きを与えるというシステムになっています。

システムは、オーディオストリームを処理し「Visemes」と呼ばれる音の素を求めます。基本口形状というもので、予めいくつかの基本的な口の動きを用意しておいて、入手した音声を当てはめて出力していくといった仕組みです。今回の場合は、現時点で15パターンを設定していて、その中での組み合わせで表現するとしています。

テスト映像を見ると、やや遅延が気になりますが、しっかりと音声について来ています。一方、こちらのテスト動画(youtube)では反応が良く自然に動いているのが見て取れます。ダウンロードはこちらから。

 

参考

関連

ABOUT

本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。詳細はこちら

ページ上部へ戻る