ベルギーのVFXスタジオNozonは、PresenZというリアルタイムレンダリング（リアルタイムCG）とプリレンダリング（プリレンダCG）の良いところを組み合わせた360°立体ムービーシステムを開発しています。
実写級の3DCG、奥行きのある立体視、ポジショナルトラッキングも対応し、360°映像によるVR視聴を可能とします。リアルタイムCGとプリレンダCGの良いところを組み合わせ奥行きのある立体視映像を可能とした本システムは、特許も出願中とのこと。
視差
「視差」によって奥行きある立体視を可能としています。「視差」というのは、両目という異なる2地点から物体をみることで立体として捉えることができる人間にもともと備わってる仕組みの事です。単一の視点から撮影される360°ムービーでは平面になりサポートできませんが、本システムでは左右の目用それぞれの視点が存在し、2つの異なる視点が再生されるので奥行きのある立体視を実現させています。このことにより自然な目視と近い感覚になり、VR酔いが起きにくい事にも繋がります。
リアルタイムCGとプリレンダCG
リアルタイムCGとは、プレイヤーが操作したらすぐ反映されるインタラクティブ3DCGのことで、プリレンダCGとは予め高機能コンピューターで作った3Dグラフィック映像データをゲーム内で再生することです。簡単にいえば、FF10なんかでオープニングやエンディング等で描画される実写級のハイクオリティシーンがあると思いますが、これがプリレンダCG、その他プレイヤーが操作してゲームするのがリアルタイムCGです。
そして、プリレンダCGの欠点としてプレイヤーによる操作ができないというのがあります。FF10でも実写級の映像だけ見せられてこちらが操作できないのと同じで、VRだとA地点から360°見る分には可能ですが、頭ごと動いてB地点に移動するのはできない。動くと視差の違いを表現できないのです。グラフィックはすごいけど、インタラクティブじゃないのならVRとの相性が悪い。それが最大の欠点でした。
一方で、リアルタイムCGはプレイヤー操作を前提にしているので、頭が移動しても途切れず描画されます。その良いところだけを組み込んで、ポジショナルトラッキングを含めた実写級のプリレンダCGをVR体験させることを実現させたのがPresenZという独自技術なわけです。ハリウッド映画でも使われるプロ仕様のレンダラー「Arnold Renderer」をカスタマイズしたプラグインを使って4000ピクセル×2000ピクセル:25fpsでレンダリング、したデータを3D映像に読み出すことで実現しています。つまり、プリレンダCGの高いグラフィックと、リアルタイムCGの視差も含めた位置追跡を融合させたのが本システムというわけです。
Lighthouse × PresenZ
ただし、Oculus Rift DK2の位置追跡範囲よりもかなり狭い範囲しか動かせないデメリットもまだあってこれからといったところです。というデメリット、位置追跡範囲を広げるために今回実験したのが、VRヘッドセット「HTC Vive」とValveのトラッキングシステム「Lighthouse」を用いたテストです。「Lighthouse」とは、部屋の2カ所に設置したベースステーション内4.5×4.5mの空間「ルームスケール」内であれば追跡するシステムのことで、そのシステムとPresenZを組み合わせたのが今回のテストで見事に成功させています。デモ動画では、プレイヤーが動いても追随してシームレスに描画されている様子が見れます。SteamVRコントローラーもVR内に。
現在は、この技術でマーケティングのプロモーションやプレゼンテーションなどのアプリを作っていて、将来的には長編VR映画やドキュメンタリーを制作するとのことです。同社Vimeoアカウントでは、過去にCMや映画で使われたVFXスタジオによるガチ作品も見ることができます。こんなのとか。
Lightfields
今回のシステムに似たような技術でいえば「Lightfields（ライトフィールド）」というのがあります。複数のレンズによって光の向きまで記憶する技術で、奥行きのある立体視映像を可能にします。以前、Lytroが世界初となる実写360°3DライトフィールドVRカメラ「Immerge」を発表しましたが、これもLightfields技術を用いていて、360度カメラアレイを5層重ねた構造からキャプチャする映像は、6軸自由度の視点を可能とし、奥行きを実現させます。（過去記事）