VR Inside

VR/AR/MRの未来を創るビジネスニュースメディア

実世界の自分がそのままVR内に反映!Facebookが開発する高度なアバター技術

VRChatなどのソーシャルVRの普及に伴い、ユーザーがVR空間内で使うアバターの表現技術も向上しつつあります。

現在では、実世界とほぼ同じ表情の動きをVR空間で実現する技術の開発が進んでおり、数年後の実用化が見込まれています。


リアルの表情と殆ど同じ、Facebookが開発中のアバター技術

口元や頬の動作、瞬きや視線など、アバターで表現できる表情のバリエーションが増えれば、VR空間内でのコミュニケーションがよりリアリティのあるものになります。

こうしたアバター技術の可能性を追求しているのがFacebookで、同社はユーザーの表情を殆どそのままVR空間内に反映する技術を開発しています。

現実のルックスがそのままVRに

現在、VRChatやAltspaceVRなどで使用するアバターは2Dのアニメ的なテイストのキャラクターが大半ですが、実世界でのユーザーの姿をそのままVR内に反映する技術が登場しています。

この技術は「Codec Avatars」という名称で、FacebookのVR/AR技術開発部門のFacebook Reality Labsが、2019年3月に発表したものです。

Codec Avatarsでは、ユーザーの外見をキャプチャして3Dモデル化し、そのままVR用のアバターとして使用できます。

ですが、現時点ではこのレベルの高精細さとフォトリアルさを持つアバターの作成には多くの手間を要し、専用のスタジオで合計132台ものカメラを使って、ユーザーの外見をキャプチャする必要があります。

このため、実用化にはまだ数年を要するとのことですが、将来的にはFacebookやInstagramなどに投稿した写真数枚だけでリアルなアバターを作成可能になるとのことです。

高精度な表情トラッキングで更なるリアルさを実現

そして2019年6月には、同社はアバター表現をより豊かにする表情トラッキング技術を発表しており、よりアバターが感情や表情を豊かに表現できることを目指しています。

2台のヘッドセットを使用、AIを用いて訓練

このトラッキング技術のユニークな点は、2台のヘッドセットを使って表情トラッキングの精度を向上させていることでしょう。

一方のヘッドセットには3つのカメラをデバイスの内側=ディスプレイ部分に搭載しており、ユーザーの表情を読み取ります。もう片方のヘッドセットは6つのカメラを追加して備え、合計9つのカメラを搭載しています。

このヘッドセットは、もう片方(3つのカメラを搭載した方)でより高精度な表情認識を行うための機械学習モデルを訓練することが目的で、追加分の6つのカメラを通して測量を行います。

表情トラッキングにAI(人工知能)を用いることで著しい精度向上が実現し、Facebookによると訓練後の機械学習モデルを使用したヘッドセットでは、3つの内蔵カメラのみのトラッキングでも「精度は殆ど落ちない」と述べています。



実用化には数年が必要

現在一般的に普及しているアバター技術では、リップシンクによって唇の動きを同期できますが、瞬きや眉の動きなどの、他の様々な表情はまだ同期できる段階にはありません。

このため、Codec Avatarsのような技術はVRでのコミュニケーションを著しく発展させる技術として注目できますが、Facebookによると同技術の実用化には「まだ数年かかる」とのことです。

ですが、同社はソーシャルVRが次世代のSNSの主要技術になると見込んで、2014年にOculusを買収していることからも、今後もアバター技術を研究開発の中核に据えていくことは間違いないでしょう。

また、Oculusのライバル企業であるHTCも先日、アイトラッキング機能を搭載した「HTC Vive Pro Eye」の発売を開始しています。

アイトラッキングもユーザーの瞬きや視線などをアバターに反映可能にし、ソーシャルVRでのコミュニケーションに現実感を与える技術として、今後のVR技術にとって重要な技術です。

まとめ

VR内で他者とコミュニケーションできるソーシャルVRが普及するにつれて、「VR内の肉体」と言えるアバターの表現技術の開発も進んでいます。

現在、Facebookが開発中の「Codec Avatars」という技術は、ユーザーの実世界の外見をそのままVR空間に反映するもので、将来的にはユーザーの写真数枚で高い精度のリアルなアバターを作成可能になると言われています。

また、アバターの外見だけでなく表情も豊かに表現するための技術も開発中で、ほぼ実世界での姿と殆ど変わらないリアリティのあるアバターを実現します。

Codec Avatarsの実用化にはまだ数年を要するとのことですが、現時点で既にOculusはユーザーの声や動きに合わせてアバターに口や眉の動きを加える「Expressive Avatars」をローンチしています。

ソーシャルVRを技術開発の中核に据えるFacebookだけに、他社に先駆けたVR内でのコミュニケーション技術の開発に注力しており、今後も同社の動向には要注目です。

【参考サイト】

Facebook’s Prototype VR Face Tracking Got Even Better[UploadVR]

Facebook Bets On Realistic Face Tracked Avatars As Key To VR’s Future[UploadVR]









Daisuke


フリーランスの翻訳ライター。XR、VTuber、人工知能を専門に各種メディアに寄稿しています。 Twitter: https://twitter.com/dsiwmr

最新ニュースを読む