視線に合わせて自動でVRのピント調節！FacebookがVR技術「DeepFocus」を公開

VR体験では、まるで別の空間に丸ごと没入したような臨場感を味わえますが、長時間ヘッドマウントディスプレイ（HMD）を着けていると疲れてしまいます。

これは、現行のVRが立体感を生み出す技術と、人間が立体感を認識する仕組みとが合致していないことによって起こります。

ですが、Facebookが新たに公開した「DeepFocus」という技術によって、より自然で快適な立体感をVRにもたらすことができます。

VRでより自然な立体感を生み出す「DeepFocus」とは？

人間が立体感を認識する際、左右の目の焦点を様々な対象に合わせることで脳が立体感を認識します。

例えば、人差し指を目の前に持ってくると指だけがハッキリ見えて、周囲の視界がぼやけて見えますが、これは両眼の焦点が人差し指に収束しているからです。

このような、人間が立体感を認識する仕組みにVRが対応することで、VR空間でもより自然な立体感を生み出そうとする技術が開発されています。

焦点が合った部分をクッキリと表示して、周囲をぼかす

FacebookのVR技術ラボであるFacebook Reality Labs（旧Oculus Research）が公開した「DeepFocus」は、まさにVR空間で自然な立体感を再現する技術です。

これはユーザーがVR空間で様々なものを見ている時、注視している部分だけをクッキリと表示して、その周囲をぼかして表示することで立体感を出します。人間が立体感を認識する仕組みと同じですね。

対象物（手前のカード）を見ている状態。背景がぼやけて見えます。

背景を見ている状態。手前のカードがぼやけて見えます。

このような可変焦点を可能にするためには、アイトラッキングによってユーザーの目の位置を認識できるHMDが必要になります。

Oculusは既にアイトラッキングに対応したデバイスを開発中で、2018年5月に開催した開発者イベント、Facebook Developers Confereceで発表した「Half Dome」がそれに当たります。

Half Domeは視野角140度という広視野角（Oculus Riftは110度）である上に、ディスプレイが可動することで可変焦点を可能にします。

Half Domeのような可変焦点が可能なHMDとDeepFocusを組み合わせることで、ユーザーが注視する部分とそうでない部分とに分けて映像の表示レベルを変えることができます。

これによって、従来よりもVR空間内の様子が自然に見えるようになります。

現在のVRでは、立体感を正確に再現できない

冒頭でも述べましたが、現在発売されているHMDを長時間ずっと着けていると、VR内の映像に目が疲れてしまいます。

これは何故かというと、現在のHMDで再現できる立体感は、人間が立体感を認識する仕組みときちんと合致していないためです。

VR体験中は、両目の焦点が合っていない

人間が立体感を認識するには、見ている対象物に両目の焦点が交わって当たっている必要があることは広く知られています。

この時、左右の目からは（両目の位置が異なるため）それぞれ角度が若干ズレた映像を受容しています。このため、人間の目は真っすぐ前を見ているようでも、実際は少しだけ角度が内側に向いています。

現行のHMDではこの仕組みを応用して立体感を再現しており、ディスプレイの後ろに角度を若干ズラした映像を表示して、これを見ることで映像が立体的であるように脳を錯覚させます。

ソース元：https://medium.com/vrinflux-dot-com/vergence-accommodation-conflict-is-a-bitch-here-s-how-to-design-around-it-87dab1a7d9ba

ですが、この時に両目の焦点はそれぞれのディスプレイ部分に当たっており、その後ろに表示されているVR空間内のオブジェクトに焦点は当たっておらず、したがって両目の焦点が交わっていない状態で立体感を認識しています。

このため、脳は立体感を認識しているのに焦点が交わっていない、という不自然な状態が発生することで、目が疲れてしまいます。

これは「適合的眼球離反運動の不一致（Vergence-accommodation conflict）」という専門用語で呼ばれており、現在のVRが解決すべき問題の一つです。

VRの映像が自然に見えれば、長時間VRを使用することも可能に

一般的なVRユーザーであれば、一度にHMDを着けていられる時間は長くても30分～1時間程度です。

ですが、VR空間内の映像がより自然に立体的に見えるようになれば、より長時間VR空間にダイブすることが可能になります。

こうした新技術の登場によってVRはどう進化するのでしょうか。9月に開催されたOculus開発者イベントのOculus Connect 5で、Facebook Reality Labsのチーフサイエンティストのマイケル・アブラッシュ氏は、

（これらの技術は）光学とディスプレイ技術のほんの始まりに過ぎず、進化を加速させる代表選手だ。

と、述べています。

ユーザーが注視している部分のみを鮮明に表示して、それ以外の部分をぼかす技術は他にもあり、「フォービエイテッド・レンダリング」という技術は一体型VR機器でも使える技術としてグーグルなどが開発を進めています。

DeepFocusは12月に東京で開催されたCG系カンファレンス、SIGGRAPH Asia 2018にて論文が発表されており、DeepFocusのソースファイルと機械学習用の訓練データはオープンソース化しており、おもに研究者向けに公開しています。

まとめ

Facebook Reality Labsが、VR空間でより自然な立体感を再現できる技術「DeepFocus」を公開しました。

これはアイトラッキングによって焦点調節が可能なHMDに対応した技術で、ユーザーの焦点が当たっている部分を認識して、見ている部分だけをクッキリと表示して、背景をぼかします。

これは、人間が立体感を認識する仕組みに合致した技術で、現在のVRが抱える不十分な立体感を補い、より自然な立体感をVRにもたらします。

専門的な技術ではありますが、VR体験の質をより向上させるものなので要注目ですね！

参考サイト：VRFocus / Road to VR