Seamless

 Virtual Reality News

メニュー

人間のインプットは「感覚」、出力は「運動」に集約される。人の感覚や行動を遠隔操作するパラサイトヒューマンとは

パラサイトヒューマン(PH:Parasitic Humanoid)」と呼ばれるマンマシンシステムが存在します。

このシステムは、視覚、聴覚、平衡感覚、触覚といった人の感覚を操作し相手の運動をコントロールするというコンピュータシステムで、人間の­さまざまな感覚器に干渉できる装着型デバイスの集合体でもあります。

1464546525

昨今のVRにおいても関連する要素が盛り込まれていますので、参考までにまとめてみたいと思います。

PH(パラサイトヒューマン)とは

大阪大学の前田太郎教授率いるチーム「前田研究室」が推進している研究です。PHの説明において、前田教授がTech総研によってインタビューされた記事が分かりやすかったので少し長いですが一部引用します。

人間に情報が入る手段は、感覚と呼ばれるプロセスがすべてです。同時に、人間の出力は運動しかない。言葉を発するという出力も、舌や呼吸器、のどの運動です。人間は、感覚で取り込んで、運動で出すしかない生き物なんです。逆に言えば、この点だけ押さえると、人間を情報的なブラックボックスとして定義できることになる。定量的な存在としてとらえられる。その情報を扱えれば、人間の研究ができるということ。そのために、人間に装着するタイプのインタフェースを開発しているのが、私の研究です。

よく、世界には情報があふれかえっているという言い方をされます。しかし、これは違います。世界は現象であふれかえっているのであって、情報であふれかえっているわけではないんです。そして情報は、現象を測ってはじめて情報になります。その計測をしているのが、感覚です。いわば、計測のモノサシです。目であり、鼻であり、手触りもそう。身体というモノサシで測っている。もっといえば、人の身体の特性がモノサシを表している。つまり、身体の形が違えば、同じ現象を見ても、違う情報として獲得してしまうことになるわけです。同じ人間でも、寸法が違うと受け止め方が変わるのはそのため。生物全体で見れば、形が違うと、同じ現象でも受け止め方が変わります。要するに、人の形、「型」というのは、特性としてものすごく重要なものである、ということになるわけです。

そして錯覚というのは、感覚異常や幻覚のことではありません。むしろ正常な感覚の一種で、ただ通常とは異なった現象を等価に感じること。錯覚の作り方と感覚の作り方はほとんどイコールなんです。だから、工学的に感覚を創り出すことには意味がある。さまざまな基礎的な研究をし、そのモデルを数理的に立てて、錯覚の設計に用いることができる。ある感覚を生み出す物理現象そのものではないけれど、同じ感覚を生み出す、扱いやすい物理現象を扱うのが、この研究の狙いです。その総体がパラサイトヒューマンであり、獲得した情報は人間に返す。人間の行動の「型」を得ることで、人間の行動のサポートができるんです。平衡感覚なら、例えば、後ろから来るバイクをセンサを使って検出し、自動的に身体をよけさせる、なんてことができる。家庭用のゲームをしながら、まるでレジャーランドの揺れる乗り物に乗っているかのような感覚を得られたりする。ほかにも、触覚や力覚など、さまざまな要素技術の研究を進めています。

sensory_motor

つまり、PHは感覚器に与える情報を加工し働きかけることで錯覚を起こさせ、行動を誘導/コントロールを可能にするインタフェースというわけです。人を遠隔で操作できる、それは人に寄生しているかのようにも表現できることから「パラサイトヒューマン(PH:Parasitic Humanoid)」と名付けられました。

そして、PHは感覚器に合わせて複合的に集合したデバイスです。以下では各部署に分けながら一部をご紹介できればと思います。

一人称視野共有システム

ユーザー2人がビデオシースルーHMDと呼ばれるデバイスを頭部に装着し、視野を共有するシステムです。自分が見ている世界と相手が見ている世界をARのように重ね合わせ表示させることを可能にします。

本人は頭部に搭載されたカメラの映像をディスプレイに表示させ現実世界を見ています。鏡による光の折り返しを利用しているため、HMDなしの裸眼で見る現実世界と変わらない自然な状況を作り出します。そして、そのディスプレイ上に相手カメラの映像をインターネットを介して伝送し重ね合わせることをします。

PH3

PH5

アイトラッキングも搭載

さらに、視野だけでなく眼球も追跡します。ユーザーがどこを見ているかを追跡し、丸いマーカーとしてディスプレイ上に共有されます。マーカー同士を重ね合わせることで視線を同じ場所に置くことができる、これにより相手へより正確な視野を伝達することができるというわけです。

PH4

応用

視野共有システムで何ができるのか。例えば、医師が現場の素人に救命処置を教えたり、中国ゴマやジャグリングなどコツを必要とする技術伝達をしたり、料理や伝統工芸のようなプロによるスキル学習をしたり、などに応用することが考えられています。そして、中国ゴマのような言語で伝えることが難しい身体的テクニック伝達には、PHの支援がある時の方が習熟は早いという結果もでています。

PH6

上記内容は、YouTubeに公開された映像でも見ることができます。実験内容含めディスプレイ上でどうやって映しだされているのかを動的に確認できます。

バランス感覚を制御

左右の耳の後ろに電極を装着し微弱電流を流すことで相手の動きをコントロールする「Galvanic vestibular stimulation GVS(ガルバニック前庭刺激)」の研究です。

内耳部分に存在し、バランス感覚を司る器官「前庭」を電気刺激することで加速度の錯覚を感じさせ相手を操作します。ユーザーは電気刺激によって任意の方向へ自然に傾けられるを体験することになります。ラジコンのコントローラーで電気刺激を操作し人を左右に動かす実験がよくされます。

1464480757

GVS搭載ヘッドフォン

その応用として、先日SamsungがGVS搭載ヘッドフォン「Entrim 4D」を発表し話題になりました。Gear VRと同時に使う目的で開発され、VR内の状況に応じてヘッドフォンからの電気刺激で身体を制御するデバイスです。下記画像のように、車のカーブで実際に体が傾いてしまうといった具合です。(過去記事参照)

PH7

GVS応用

前田研究室ではGVSをこんなことに応用していました。後ろからバイクが接近してくることを検知し、横に避けるように移動させるという応用です。

PH-compressor

一人称視野共有システムとGVSの連携

そして、先ほどの一人称視野共有システムとの連携も実現しています。連携は、視線ベースのマーカー追従のために支援という形式でGVSを活用します。ホスト側が急に頭を動かすと視野がどこかへ行って分からなくなります。それを追従するために、GVSで誘導するわけです。

実験では、「頭の動き」と「眼球の動き」両方とも誘導できるかをテストします。結果、長い刺激を与えると「頭の動き」をコントロールでき、短い刺激で「眼球の動き」をコントロールできることが分かりました。つまり、一人称視野共有において、GVSは無意識の内に頭の位置および眼球位置を別個に誘導できる視野追従支援として連携することができるというわけです。こちらの映像でも確認できます。

PH8-compressor

触覚フィードバック

スマートフィンガーと呼ばれる指先への触覚フィードバックです。遠隔にいながらユーザーに触った感覚を共有するというものです。

指の腹側ではなく、爪側にデバイスを取り付け振動で刺激し錯覚させます。この錯覚で凸凹やざらざらなど様々な触感を再現します。応用として、スマートフォンやタブレッドへのタッチパネル操作時の感触に使用したり、PHで紹介しているスキル伝達にも視覚共有と組み合わせて使用したりもできます。また、触覚は記憶することが可能で、ネットを介して共有することもできると言います。

1464540853

視覚、GVS、触覚を組み合わせたPH実験

大きく分けてPHにおける3つの部署をご説明しました。1つは視覚共有、1つはGVSによる誘導、1つは指先への触覚フィードバックです。これらを組み合わせた実験として、遠隔医療への応用が用いられています。ドクターが素人へ遠隔で処理(緊急蘇生措置)をリアルタイムで教えるというものです。

1464541505

視線ベースの視野共有、急な頭の動きにもGVSで誘導、指先からによる感触で同じ感覚を共有、これらで言語での伝達より効率的に措置を伝授できるかを実証していきます。実験の様子は、こちらの映像で確認できます。

まとめ

PHは、遠隔地にいる相手の感覚器に与える情報を加工し働きかけることで錯覚を起こさせ、感覚や行動をコントロールすることを可能にするインタフェースです。

そして、PHのアプローチは、現代のVRにおいても参考になる部分があるかもしれません。実在感という観点からも、人間のインプット(視覚、聴覚、味覚、嗅覚、触覚、平衡感覚)を操作し錯覚させることは重要だと考えられます。

合わせて読みたい

About

Seamless(シームレス)は、Virtual Realityを主軸に更新しています。(詳細はこちら