VR Inside

VR/AR/MRの未来を創るビジネスニュースメディア

「8K360度リアルタイムVR映像処理装置」開発!臨場感と没入感満点のVR体験が可能に!

株式会社PALTEKが株式会社NTTドコモと株式会社ベクトロジーとの共同で、リアルタイム処理が可能な「8K360度VR映像処理装置」を開発したと2018年6月28日(木)に発表しました。


「8K360度VR映像処理装置」開発の背景

次世代の超高精細映像である8K映像のリアルタイム処理は非常にかなりの負荷がかかるためため、今までの高性能PCを使ったソフトウェア処理では困難でした。

そこで、ドコモはPALTEKが提供するエコシステム型のFPGA機器開発プラットフォームImage CUBE2基板を採用し、ベクトロジーが提唱するFPGAコンピューティングと専用演算器開発サービスを組み合わせることで、8Kリアルタイム処理を実現したとのことです。

また、配信された360度8K映像をVRヘッドマウントディスプレイで視聴するにあたり、360度8K映像を複数の切り出し映像(タイル)に分割し視聴方向だけの映像を再生することで再生にかかる処理負荷を下げるパノラマ超エンジンTMエンコーダについても、ライブ配信向けにリアルタイム動作が可能となるようにアルゴリズムを工夫したエンコーダもあわせて開発されました。

FPGAとは

Field Programmable Gate Arrayの略で、設計者が手元で変更を行いながら論理回路をプログラミングできる書き換え可能なLSI(大規模集積回路)のこと。

「8K360度VR映像処理装置」システムの構造

「8K360度VR映像処理装置」は、4Kカメラ5台の映像をそれぞれ正距円筒映像(エクイレクタングラー映像)に変換し、8K映像への繋ぎ合わせをリアルタイムで処理します。

円周方向に外向きに配置された5台のカメラから出力される4K魚眼形式映像をリアルタイムに合成(スティッチング)し、30fpsで360度8K映像を出力するリアルタイムスティッチング装置、360度8K映像をサーバへ配信するためにリアルタイムで圧縮(エンコード)を行うリアルタイムH.264エンコーダ、360度8K映像を複数方向のタイルに分割するリアルタイムパノラマ超エンジンエンコーダ、そしてこのタイルをユーザの視聴方向に合わせて配信する配信サーバから構成されます。

30fpsとは

30fpsとは映像を1秒間に30フレーム表示することをさします。

この処理が可能になったことにより、ドコモが2020年の商用化をめざしている第5世代移動通信方式「5G」を利用した8KVR映像配信システムに適用することで、8K360度VR映像のライブ配信と視聴が実現可能となりました。



映像機器開発プラットフォーム「Image CUBE2」について

PALTEKが提供するImage CUBE2は、連結することで能力を増強させることができるFINE(FPGA Intellectual Nodes Ecosystem)という概念で設計されており、搭載されているザイリンクス社Kintex(R) UltraScale(TM) FPGAには専用の並列演算用のハードウェアが実装され、入力された複数の4Kカメラ映像を遅延なく処理を行う力を持っています。

また、8K処理のような高難易度の装置を実現するために、ベクトロジーの高密度実装を行うFPGAコンピューティング思想が大きく貢献しています。

FINEとは

FPGA Intellectual Nodes Ecosystemの略で、FPGAノードとインタフェースノードを分離することにより、システムに応じてインタフェースを変更するなどさまざまな要求に対応することが容易になります。また、一般的にはノード間の接続はバックプレーンボードを介して行うが、FINEでは小型ケーブルで接続できるため、装置内での配置の自由度が高まり、効率的な配置を行うことが可能です。

Image CUBE2製品ページ

「8K360度VR映像処理装置」開発者コメント

以下、株式会社NTTドコモ 移動機開発部 第二イノベーション推進担当 担当課長 的場 直人氏がコメントしています。

「8K360度VRライブ配信という世界初の装置を短期間で完成するにあたり、PALTEKの提唱するFINE構想ならびにベクトロジーの実装能力の協力を得たことを大変感謝しております。

今後とも高いユーザーエクスペリエンス(UX)を提供するためにFPGAを使用したソリューションがますます必要になります。

高い設計、製造品質でのサービスを提供されているPALTEK、ベクトロジーとの協業はUXの最大化を実現すると確信しています。」

まとめ

360度8K映像のリアルタイム処理は非常に負荷がかかるため、ソフトウェアでの実現は困難だといわれてきました。

しかし今回、高精細な8K映像や4K映像の合成処理や分割処理などを行うことのできる映像機器開発プラットフォームに、書き換え可能な大規模集積回路と、専用演算器開発サービスを組み合わせることで、それが実現されることとなりました。

本システムが開発されたことによって、スポーツや音楽のライブイベントをリアルタイムに360度8K映像として視聴することができるようになり、まるでその場にいるような臨場感と没入感の高いライブVR体験を楽しむことができますね。

ソース:8K360度VRリアルタイム映像処理装置 プレスリリース[at press]

関連サイト:株式会社NTTドコモ プレスリリース










VR・AR・MRからVTuberまでXRに関連して最新情報を配信します。

最新ニュースを読む