自分で描いた2Dイラストから作った3Dキャラクターと、webカメラで取り込んだ顔の表情をリアルタイムに連動させることが出来る「FaceRig Live2D Module」が12月9日からSteamでリリースされました。イラストが立体キャラクターになり、それを顔の表情で動かすことができるソフトウェアです。
手書き2Dイラストの原画パーツたちから立体表現として映像内に変換させる「Live2D」と、webカメラで取り込んだ表情とアバターをリアルタイムに連動させるモーションキャプチャ技術のソフトウェア「FaceRig」とがタッグを組み実現しました。Live2Dが提供するLive2D Cubism Editorに自作したイラストを取り込み3Dキャラクターを制作、それをFaceRigに反映させてSkypeやGoogleハングアウト、ゲーム実況のTwitchで使用する流れになります。自作イラスト以外にもLive2Dからキャラクターのサンプルデータが提供されていて、初音ミクさんやユニティちゃんなどをダウンロードすることができます。
- FaceRig Live2D Moduleの購入はこちらから価格は398円（執筆現在40%OFFで238円）。
- FaceRigも必要、購入はこちら（1,480円）。
- Live2D Cubism Editorも必要、購入はこちら（一般の新規購入だと税別14万円）。追記：12月25日現在、税別28,000円で販売中。
VRとの関係ですが、顔の表情をモーションキャプチャする技術はVRとの相性もよく、VR内のアバターと直結させることなどに期待されています。今回はWebカメラですが、VRヘッドセットを装着した状態でも表情をキャプチャする装置（口元は外部装置で、目周辺はVRヘッドセット内のセンサーで取得:参考記事）も存在していて、VR内に没入しながら連動することも可能になると思われます。
使用先としてもSkypeなどの対話ベースだけでなく、音声会話のソーシャルVRプラットフォーム「AltspaceVR」での使用や、5人同時に動画を閲覧したりできる「Oculus Social」、さらにはOculus Touchを使ったToy Boxに見る直接的なVRソーシャルに使用されるとより臨場感を共有することができます。AltspaceVRの場合、全身モーションキャプチャシステム「Perception Neuron」にも対応していて、体の動きも連動するので、体、顔、声とVR内でのリアルタイムコミュニケートの情報量がどんどん増え、そのアバターが自作イラストというから今後の展開に想造が膨らみます。
関連記事
- Oculus、「ソーシャルSDK」のリリースを示唆、Oculus Touchから始まる本当の「ソーシャル・リアリティ」 | 白ペンギン
- 低価格な全身モーションキャプチャシステム「Perception Neuron」がVR空間で交流できる「AltspaceVR」に対応 | 白ペンギン
- Oculus Riftを装着した自分の顔の表情をリアルタイムにアバターへ反映させる装置 | 白ペンギン