VR Inside

VR/AR/MRの未来を創るビジネスニュースメディア

VR Inside > ニュース > 他者に代わって会話が可能に!自分の顔に他者の口の動きと表情を再現する新技術「Face Sharing」開発

他者に代わって会話が可能に!自分の顔に他者の口の動きと表情を再現する新技術「Face Sharing」開発

H2L株式会社と株式会社NTTドコモは2020年1月10日(金)、自分の顔に他者の口の動きと顔の表情をリアルタイムに再現する「Face Sharing」を共同で開発したことを発表しました。


「Face Sharing」について

「Face Sharing」は、自分の顔に他者の口の動きと顔の表情を再現できる新しい技術です。

・他者に代わって自分が会話をすること

・他者の口の動かし方を実際に体験できる

ため、遠隔からサポートを受けながら外国語での会話や専門的な知識が必要な会話などを行うことができるようになります。

開発にはH2L社が提供する、筋変位センサーを活用し、手や腕などの身体情報をコンピューターと相互伝達することにより、人やロボット、VR・ARのキャラクターへ体の動きを伝えることができ、独自の触感提示技術により、他人の体験やVR・AR空間の体験を体に伝えることができる技術「BodySharing技術」が活用されています。

また「Face Sharing」では、高速・大容量、低遅延、多数接続の特徴をもつ『5G』と組み合わせることで、

・遠く離れた場所でも他者の口の動きや顔の表情をリアルタイムに再現すること

・より多くの人数で同時に同一の体験を共有すること

が期待できます。

H2L社は、電気刺激による身体制御ノウハウ提供と研究開発の運営を、NTTドコモ社は、5Gネットワークの提供と研究開発の運営を担っています。

「Face Sharing」の仕組み

頬に装着したデバイスから口周りの筋肉に電気刺激を与えて収縮させることで、 他者の口の動きやAIが指定する口の動きを再現します。

物理的な動作が大きい口について、表情をできるだけさえぎらず動作を制御できる筋周囲のみに電気刺激を与えて制御しています。

また、複数のデバイスを用いることで、一人の口の動きを複数人に同時に再現することができます。

さらに、他者の顔の3D映像を自分に投影することで顔の表情を再現し、スピーカーを使用して他者の音声を再生することで声の再現も可能です。

活用イメージ

言語の違いなどで会話が難しい場合に、他者やAIの語学力を使って円滑にコミュニケーションを取ることをイメージしています。

ほか、

・ プレゼンテーションの上手な人の口の動かし方や間の取り方を体感する

・ プロの歌手の口の動かし方を学ぶ

・ 口を動かす練習用プログラムを組んだAIを使って、口の動きを習得する

・ アニメーションキャラクターや動物の口の動き、顔の表情を体感する

などのシーンでの活用も想定されています。



出展情報

Face Sharingは、2020年1月23日(木)・24日(金)に開催されるイベント「DOCOMO Open House 2020」にて展示される予定です。

イベント名:DOCOMO Open House 2020 概要

日時:2020年1月23日(木)・24日(金) 9:30~18:00

場所東京ビッグサイト(青海展示棟)

公式サイトDOCOMO Open House 2020

まとめ

自分の口が他人の思い通りに動くようになるとは、技術の進歩に驚かされます。

口の動かし方の伝達が難しい言語の発音や歌・演技など、直接口を動かして伝えるシーンで多く活用されることを目指し、特に他者やAIの語学力を使って円滑にコミュニケーションを取ることをイメージして開発された新技術は、今日本が抱えるインバウンドや外国人労働者の受け入れの課題にも役立つツールのひとつになることでしょう。

両社は今後も「Face Sharing」とH2Lが提供する「BodySharing技術」の研究開発を推進し、身体全体への拡張を含めた検討を進めるとしており、さらなるサービスの進歩が期待されます。

ソース:「Face Sharing」に関するプレスリリース[PR Times]








VRInside編集部


VR・AR・MRからVTuberまでXRに関連して最新情報を配信します。

最新ニュースを読む