VR内の外国語を手軽に翻訳！Google レンズを応用した翻訳技術デモ

VR内の外国語を手軽に翻訳、Google レンズを応用した技術デモ

この技術デモを開発したのは個人開発者のPhasedragon氏で、同氏は先日発表されたGoogle レンズの翻訳機能をVRに実装したデモを発表しました。

同デモでは、VR内にある小型スクリーンを様々な文章にかざすと、まるでスマートフォンを使っているような感覚で、手軽に翻訳機能が利用できます。

Google レンズの翻訳機能

Phasedragon氏がこの技術デモに使用しているのは、Googleが2019年5月にリリースしたばかりのGoogle レンズです。

Google レンズはAndroid、iOSで使えるモバイル向けサービスで、デバイスのカメラを利用して様々な機能が利用できます。

例えば、気に入った服や家具をスキャンすると類似した商品を検索したり、建物をスキャンすると名前や住所が表示されたり、レストランの人気メニューを表示したりなどが可能です。

どんな言語も瞬時に翻訳

そして、同サービスの機能で最も話題になったのが翻訳機能で、様々な言語で書かれた標識やメニューなどをスキャンするだけで、瞬時に他の言語に翻訳できます。

海外旅行に行く時などは特に重宝しそうな機能ですが、今回登場した技術デモは、こうした翻訳機能をそのままVRに持ち込んだものです。

So I got google lens working in VR 👀 pic.twitter.com/rFCS7nUgbx

— Phasedragon (@Phasedragoon) August 22, 2019

Google レンズの翻訳機能をVRに実装

Phasedragon氏がTwitterに投降した映像では、VR内でGoogle レンズの翻訳機能を使用する様子を確認できます。

VR内にいる同氏の左腕には、腕時計型の小型スクリーンが表示されており、VR内にある標識やパンフレット、バナーなどにスクリーンをかざします。

すると、これらに書かれている韓国語が即座に英語に変換されて、スクリーン内に表示されます。

Hanging out with @VRDesignGuy translating all the things! pic.twitter.com/Hr0KQ3MGQ7

— Phasedragon (@Phasedragoon) August 23, 2019

ウェブカメラをスマートフォン代わりに

Twitterでの説明によると、同氏はVR内にスクリーンを表示するために、ウェブカメラを用いているとのことです。

使用しているのはキャノン製のSparkoCamで、これをコントローラーに装着することで、スクリーンをVR内で自在に動かせるようにしているようです。

更に、Android Studioエミュレーターを用いて、Google レンズの翻訳機能をスクリーン内に実装し、さらにOVRツールキットを用いてVR内への反映を行っているとのことです。

VR用の翻訳機能にニーズはある？

今回登場したのはあくまで技術デモなので、現時点では一般公開の予定はありませんが、VR用の翻訳機能にニーズはあるのでしょうか。

現行のVRコンテンツの多くは英語のみに対応しており、日本を含む英語を母国語としない人達にとって、英語のみのコンテンツをプレイするにはハードルの高さを感じがちです。

また、今後はVRChatなどのソーシャルVRの普及によって、VR内で様々な言語を見たり、聞いたりする機会が増えると思われます。

このため、今回のようなVR用の翻訳機能は、今後必要とされる可能性は大いにあると言えます。

ARを用いたリアルタイム翻訳の実用化も進む

今回登場したのは、VR内の言語を翻訳するという一風変わった取り組みですが、現在では既にARを活用したリアルタイム翻訳技術の開発が進んでいます。

こうした技術は一部では既に実用化もされており、今後はARを駆使した自動翻訳が広く普及するかもしれません。

スマートグラスに翻訳文をAR表示

現在では、相手が喋る言語をリアルタイムで翻訳して、AR表示するアプリが既にリリースされています。

同アプリはスマートグラス「Vuzix Blade」に対応しており、日本語や英語、アラビア語、中国語などを含む合計12言語に対応しています。

相手や自分が発した言葉が、指定した言語に即座に翻訳されて、スマートグラスのディスプレイにAR表示されるというもので、Vuzix社が開発した音声認識技術と翻訳技術を使用しています。

自分の「分身」ホログラムが外国語を喋る

また、マイクロソフトは先日、HoloLensとホログラムを用いた自動翻訳機能の技術デモを発表しています。

HoloLensを着けると、ユーザーの姿と同じホログラムが現れ、自分が発した言葉を自動的に翻訳して、ホログラムが喋るというものです。

ホログラムが喋る言語はAI（人工知能）が自動生成したもので、デモではユーザーの英語を日本語に翻訳しています。翻訳や音声には若干の機械っぽさがあるものの、日本語ネイティブが聴いても流ちょうに聴こえます。

また、日本語以外の言語にも対応可能で、日本語からフランス語、ポルトガル語まで話せる、とのことです。

まとめ

Google レンズの翻訳機能を、VRに応用するという技術デモが登場しました。

これは、VR内に書かれた様々な言語を、Google レンズの翻訳技術を活かして自動翻訳するというもので、スクリーンをかざすだけで翻訳文が瞬時に表示されます。

個人開発者が制作したデモなので製品化の目途などは立っていませんが、今後ソーシャルVRやVRユーザーの人口が増えるにつれ、こうしたVR用の翻訳機能にもニーズがあるかもしれません。

参考サイト：VRScout