VRで手話を学ぶ！OculusQuestのハンドトラッキングを利用した手話学習アプリが登場

学習効果が高いと言われるVRですが、本格的に手話を学ぶことができるVRアプリはこれまで登場していませんでした

そんな中、スイスの大学生が開発したOculusQuestのハンドトラッキング機能を活用して手話を学ベるVRアプリが話題となっています。

スイスの学生が開発した指文字アルファベット学習アプリ

スイスのベルン応用大学のコンピューター知覚およびバーチャルリアリティ研究グループで学ぶCédric Girardin氏が開発したアプリでは、ドイツ語の指文字アルファベットから最大23の手話を学ぶことが可能です。

VR空間上に3Dで表示された指の形をトレースして、ユーザーは指を動かして指文字アルファベットなどを学習していきます。

ユーザーによる指文字をQuestのハンドトラッキング機能でリアルタイム分析することによって、正しく表現できているかをチェックします。

現在のところ「指文字アルファベットトレーニングアプリ」はドイツのフィンガースペリング法にだけ対応していますが、Girardin氏によると今後アプリをオープンソース化しあらゆるハンドサインに対応する予定とのことです。

近いうちに、Questのアプリ・ツール等の非公式ライブラリであるSide Questを介して、無料で公開されることになっています。

聴覚障害者のVRユーザーには期待の声も

VRの世界で聴覚障害者はハンドコントローラーを使った簡略的な手話を使ってコミュニケーションを取ってきました。

しかし、ボランティアの翻訳者・聴覚士のVR Chatユーザー「Quentin」は、聴覚障害を持つユーザーとってVRにはまだまだ問題が多いと語ります。

例えば、VR用のハンドコントローラーは

拳を握る・開く

物を掴む・放す

指し示す

といった動作ができるものの、より繊細な手・指の動きが要求される手話に関しては不十分でした。

そのため、ハンドコントローラーでもできるVR世界専用のフィンガーサインを作り出し、聴覚障害者ユーザーはこれを使ってコミュニケーションを取っています。

しかし、「Quentin」氏によると、彼らにとっては現実世界と同じ手話でそのままVR世界でもコミュニケーションできるようになることが大事なことです。

Questのハンドトラッキングシステムは完全に正確なトラッキングができるわけではありませんが、Girardin氏が今回開発した「指文字アルファベットトレーニングアプリ」はVRの聴覚障害者コミュニティが抱える問題にある程度対処しうるものとして期待されています。

まとめ

VR上でハンドトラッキングを活用した手話学習アプリが登場しました。

効率的に手話を学べるようになることに加え、聴覚障害を持つVRユーザーにとってはVR空間でコミュニケーションを取りやすくなるツールとして転用が期待できそうです。

VRは「ほとんど現実と変わらないもう一つの世界」のことを意味しますが、ハンディキャップを持つ人にとって必ずしも「現実と変わらない」とは言い切れないのが現状です。

これからもVRのバリアフリー化が進むことに期待したいですね。

参考：Quest’s Hand-tracking is Making It Possible to Learn Basic Sign Language in VR［Road to VR］