VR Inside > ニュース > Facebookがキーボード不要のバーチャルタッチタイピング技術の研究成果を発表

Facebookがキーボード不要のバーチャルタッチタイピング技術の研究成果を発表

2020/10/25 18:00

2020年10月21日、Facebook Reality Labs（FRL）は、物理的なキーボードを必要とせずに、VR/ARユーザーがタッチタイピングできるようになるハンドトラッキングに関する新しい研究を発表しました。

VR/AR分野の大きな課題である「テキスト入力」

VR/AR分野で最も基本的で大きな課題の一つとされているのが、テキスト入力を現実世界と同じように高速で快適に行えるようにする技術の開発です。

FacebookのOculusQuestにはコントローラーを必要とせずにウェブを閲覧したり、ゲームをプレイできるハンドトラッキング技術が搭載されています。

特にハンドトラッキング対応ゲームの「Waltz of the Wizard」ではコントローラーを使うことなく、手を伸ばしてオブジェクトを動かしたり魔法を使うことが可能です。

このように、Questのハンドトラッキング技術は一般消費者が利用できるものとしては先進的なハンドトラッキングですが、VR/ARユーザーが仮想現実に求める体験としてはまだまだ初期段階となります。

というのも、OculusQuestのハンドトラッキングを使って、仮想キーボードをタイピングしてみると自然なタイピング体験には程遠いことがわかるはずです。

そのため、Facebookの研究者はさらに便利なアプリケーションへのハンドトラッキングを構築し、テキスト入力といったVR/ARユーザーが最もイライラしている問題の解決を目指しています。

画像：マーカーベースのハンドトラッキングより手の動きを追跡

Facebookは本日、FRLの研究者がモーションモデルを使用して平らな面でのタイピングの不規則な動きにもかかわらず、人々がタイプしようとしているものを予測する技術の研究について発表しました。

この技術では、マーカーベースのハンドトラッキングシステムから手の動きを捕捉し、その動きを入力しようとしたテキストに直接変換していきます。

また、実用化に向けて克服すべき最大のハードルの1つは「不安定な」タイピングパターンです。

この課題を解決するために研究スタッフはAIの他の予測分野に目を向け、指が論理的に次にどこに行くかを推測する問題に取り組みました。

自動音声認識から統計的変換技術を使い、キーストロークを予測するために基本的に手の動きの言語モデル上の音素を置き換えることを試みました。

この新しい方法を使用することで、

タイピストは1分間に平均73語、手、平らな面などを使用して2.4％の未修正エラー率を達成し、物理キーボードで同じタイピストと同様の速度と精度を達成した

と、FRLは語ります。

画像：複数のカメラにより手の動きを追跡する様子

これらの研究は高精度の外部ハンドトラッキングシステムを使用して行われたものです。

トラッキング精度が低いQuest/Quest2に研究成果を適応させる前に、まずは手の動きだけで意図したタイピングを確実に予測できるという仮説を証明する必要があると考えたとおもわれます。

その一方で、Questにおけるハンドトラッキング技術の開発も継続的に行われていて、こちらの研究により精度が改善されるかもしれません。

例えば、複数のカメラビューで片手を追跡し、それらの間をシームレスに移行するという技術が公開されています。

スタンドアロンヘッドセット向けに新しい高精度のハンドトラッキング技術が完成すれば、VR空間でのタイピングなどより日常に近い動作が可能になるはずです。

Facebookがバーチャルタイピング技術の研究成果を発表しました。

OculusQuestにはハンドトラッキング技術が搭載されていて、コントローラーなしに一部の操作が可能です。

当初はクリックやスクロールでも基本的な動作でも不自由さを感じることがあり、思い通りのテキスト入力はまだまだ先ではないかと思わされました。

しかし、Facebookはハンドトラッキングのブラッシュアップに積極的に取り組んでおり、高精度なタイピングが可能になる日も近いのではないでしょうか。

さらに、Questのセンサーカメラを使ったトラッキング技術はARでも活躍が期待されており、この点でFacebookのAR開発が進んでいるとみる向きもあります。

いずれにしても、今後Facebookはクオリティの高いVR/ARのバーチャル空間を提供してくれそうですね。

XRマッチョ
筋トレとVRを愛するライター。VRでマッスルを実現できないか現在思案中。