VR Inside > ニュース > コノキューと東京医科歯科大がMRでの遠隔医療支援システム研究を開始！

コノキューと東京医科歯科大がMRでの遠隔医療支援システム研究を開始！

2023/12/12 18:00

株式会社 NTT QONOQは東京医科歯科大学と連携し、MR技術を活用した医療向けサービスの実用化をめざすプロジェクト「Project the Hands」の発足と、遠隔医療支援システムの実用化や高度化に向けた取り組みの実施を発表しました。

【PR】

「Project the Hands」とは？

昨今の医療業界では「医師不足」が問題視されていますが、その一端に『医師になるための研修期間』において、

・研修期間の長さ

・人体への物理的制約

・特殊な装置を利用するための場所が必要

・費用が大きい

という課題があることが指摘されています。

その課題を解決するため、コノキュー社ではMR（Mixed Reality）技術を活用して『手と道具の3Dデータ』を共有し、遠隔地にいる熟練医師と研修生などがリアルタイムにコミュニケーションを取りながらレクチャーが可能になる「Hands（仮称）」システムを開発しており、本システムの実用化を目指すプロジェクトが「Project the Hands」となっています。

本プロジェクトがめざすもの

本プロジェクトでは、熟練医師やその症例に対して経験がある医師などが務める『指導医』と、研修生やその症例が未経験の医師などがなる『術者』は必ずしも同じ場所にいる必要はなく、双方がMRデバイスを装着していることで、VR空間に構築された術野に対して、指導医の立体的に道具を持ったバーチャルハンドが動いている様子を見ることで、その動きを真似て自分の動作を修正したり、改善したりすることができるという特徴を有しています。

リアルな人体での手術だと術野が狭くて「手が二つ入らない」といった物理的制約も受けますが、MRを活用した本システムでは物理的な制約を超えて熟練者の手の動きを示すことができるだけでなく、手や道具はVR空間に3Dデータとして表示されるため場所の制約も受けなくなり、MRデバイスが使える場所であれば、どこでも利用することができるというメリットがあります。

さらに本プロジェクトでは『研修期間の短縮』や『難しい症例の習熟速度向上』も期待できることから、医師不足の解消に貢献することが期待されています。

「Hands（仮称）」システムでできること

本システムの主な利用シーンには『研修生やその症例が未経験の医師などの訓練』が想定されていることから、熟練医師によるリアルタイムかつ手の動きを伴うレクチャーにより、「実践しながら学ぶ」ための機能として以下のような機能が実装されています。

手術に使う道具や手術の対象となる部位のデータを選択することができる

本システムでは、事前にアップロードした『術野の3Dデータ』と『道具の3Dデータ』をMRデバイスのアプリで読み込み、空間上に表示することができます。

指導医が手や道具をどう動かしているかをリアルタイムに表示する

指導医側のMRデバイスには『術者側の視点』も映像で表示されるため、目の前に表示される3Dデータに対して自分の手を動かしながら『術者側の視点』を確認することが出来ます。

術者が3Dデータを通して指導を受けながら手を動かす

術者側のMRデバイスには3Dデータに対して指導医が動かしている通りに手の3Dデータが表示されるだけでなく、そのデータを好きな大きさと位置で表示することが可能となっています。

これにより、術者は手術中や訓練中に自分が実際に手を動かしながら、指導医の動きを見ることができる仕様となっています。

これらの機能を活用することで、指導医がその場にいない、あるいは近くにいても術野に手を入れて動かし方をレクチャーすることができないといった場合でも、リアルタイムに指導医の技術を術者に教えることを可能としています。

また、指導医および術者の動作データは記録されるため、後から閲覧したり利用することも可能となっています。

【PR】

今後の展開について

東京医科歯科大学では、2023年6月30日より「MRデバイスを用いた歯科インプラント外科手術のデータベース構築と遠隔手術支援に関する基盤構築研究」というテーマに取り組んでおり、歯科インプラント外科手術に関する熟練医師による遠隔手術支援に関する手法の確立をめざしているだけでなく、熟練医師のデータからAIモデルの作成をするなどさらなる発展をめざしたいとしています。

一方、コノキュー社では2024年1月17日（水）から18日（木）までの2日間、東京国際フォーラムで開催される「docomo Open House 2024」にて本システムを出展予定としており、試作システムを改善しながら、さまざまな分野にて学術研究・実証実験に本システムが活用されることを目指し、東京医科歯科大学との研究事業を通して、実際の手術現場での利用に向けた取り組みを進め、最終的には医療業界の医師不足の解決に貢献したいとしています。