VR Inside

VR/AR/MRの未来を創るビジネスニュースメディア

ARによって視覚障碍者が「ものを見る」|米国の大学が進める研究

2018/12/16 18:00

マイクロソフトのMRデバイス「HoloLens」は、建築や医療、エンターテイメントなどの様々な分野で活用が進んでいます。

そして、福祉の分野においてもHoloLensはメリットをもたらしそうです。

米国の大学では、視覚に障碍を抱えた人たちがHoloLensを被ることで、周囲の環境を音声で把握できる、という研究を進めています。


HoloLensを活用して、視覚障碍者が「ものを見る」研究

この研究を行っているのは米国のカリフォルニア大学で、同大学の研究者らは視覚障碍者のナビゲーション手段としてARを活用しています。

これは、コンピューターが現実世界にあるモノを認識するコンピュータービジョン技術を活用したもので、同大学による論文「Augmented Reality Powers a Cognitive Assistant for the Blind(拡張現実が強化する視覚障碍者向けの認知アシスタント)」に詳細を記述しています。

現実世界にあるモノが声を発する?

研究ではHoloLensを活用して、デバイスのトラッキング機能を使って周囲にあるモノの位置や形を把握します。

そして、機械学習によってそれらの物体の属性を認識・分類します。

こうしてデバイスが周囲の環境を把握すると、その情報は「Cognitive Augmented Reality Assistant(CARA)」というアプリへ送られます。

すると、アプリが環境の物体情報を音声化して、ユーザーの耳に届けます。

このCARAを実際に使用した際の映像では、HoloLensを通して部屋の中の様子を認識したアプリが、「電気スタンド」「ノートパソコン」「写真」「デスク」と言った具合に音声で教えてくれる様子が確認できます。

周囲に何があるかを音声でリアルタイムに把握できるので、視覚障碍者がARで「ものを見る」ことが可能になります。

物体との距離も直感的に把握できる。

ですが、周囲に何があるかを把握できても、それらの位置やどれぐらいの距離にあるかが認識できないと、ユーザーがぶつかってしまう危険性があります。

CARAはこうした問題も解決しており、例えばテーブルが向かって右にある場合、右側から「テーブル」の音声が聴こえます。左側にあれば音声も左側から聴こえてきます。

また、物体との距離は音声のピッチ(声の高さ)の変化で知ることができます。

物体が近くにあるほどピッチが上がり、遠ざかるほど下がります。

このように、音声によって周囲の環境を直感的に把握できるので、長時間使用してもストレスを感じにくい設計になっています。

使用者のユーザビリティも考慮

CARAでは、使用中にそこら中から音声が聴こえてきて、使用者が不快を感じないようにユーザビリティも考慮されています。

アプリには3つのモードが搭載されており、そのうちの一つ「Spotlight Mode」では、ユーザーが顔を向けた先にあるものだけが音声表示されます。

そして「Scan Mode」では、アプリがスキャンした物体情報を左から右へと順に読み上げるというもの。

また、「Target Mode」では、ユーザーが部屋の中の任意の物体をガイドにして、その周囲をナビゲートします。

ちょうど博物館の音声ガイドと似た仕組みですね。



実証実験も成功

カリフォルニア大学ではアプリの実証実験が行われ、7名の視覚障碍者の方が実験に参加しました。

彼らはHoloLensを着けたまま1階から2階へと上がり、開発者のオフィスへと辿り着くことがゴールです。

アプリの使用中、ユーザーには進むべき方向を示す「Follow me」という音声が聴こえてくるので、その音声の方向に向かって歩きます。

途中でロビーを抜けて2つの階段を上がり、いくつかの角を曲がりますが、これらの空間情報はすべて音声でユーザーに伝えられます。

実験結果は、参加者は最小限のトレーニングのみで、全員が問題なく目的地のオフィスへと辿り着いたとのことです。

使用者の感想

ちなみに、CARAの使用経験のあるTommy Marcellus氏は眼鏡なしでは運転や、歩行すらできないほどの重度の近視ですが、彼は本アプリについて、

こうしたテクノロジーは、私よりも(身体的能力に)恵まれなかった人々に新たな可能性をもたらし、それによって新たな自立と安全がもたらされる。(中略)(視覚障碍者が持つ)白い杖の代わりにARヘッドセットを着けて外を歩ければ、そのほうがより正確に(周囲の環境を把握)できる。

と、述べています。

ですが、実用化には更なる改善と実験が必要であり、例えば多くの人が行き交うショッピングモールや店舗、または遊園地などでも問題なく使用できるかを検証していく必要があります。

ARを福祉に活用する取り組み自体がまだ極めて新しいですが、ARは従来の介護業界にも大きな変革をもたらす可能性を秘めています。

まとめ

様々な活用が見いだされている頭部装着型ヘッドセットを用いたARですが、福祉でも活用の途がありそうです。

カリフォルニア工科大学が研究・開発中のCARAというアプリでは、HoloLensのトラッキング機能と機械学習によって、視覚障碍者が音声を通して周囲の環境をリアルタイムに把握することが出来ます。

アプリのユーザビリティも考慮されており、ユーザーが長時間、疲れを感じずに使用できる設計がされている他、直感的に使用できる点も画期的ですね。

HoloLensはまだ開発者向けのデバイスであり市販はされていませんが、こうしたデバイスの普及は障碍のある方にとっても有効なツールとなり得そうです。

参考サイト:VRScout









Daisuke


フリーランスの翻訳ライター。XR、VTuber、人工知能を専門に各種メディアに寄稿しています。 Twitter: https://twitter.com/dsiwmr

 

最新ニュースを読む