VR Inside

VR/AR/MRの未来を創るビジネスニュースメディア

スマホで全身をモーションキャプチャ!人工知能エンジンを利用した「ミチコンPlus」登場

株式会社ネクストシステムは2019年9月5日(木)、スマートフォンのカメラに写した人物の動きを、人工知能エンジンで捉えて3DCGキャラクターに反映し、キャラクターの変更やモーションデータの書き出し等に対応した、全身リアルタイムモーションキャプチャアプリ「ミチコンPlus」のリリースを発表しました。


「ミチコンPlus」について

「ミチコンPlus」とは、スマートフォンのカメラに写した人物の動きを、人工知能エンジン「VisionPose」で捉えて3DCGキャラクターに反映する、全身リアルタイムモーションキャプチャアプリです。

2019年5月に公開されたアプリ「ミチコン-VisionPose Single3D-」がAppleのエンターテインメント分野のランキングに入るなどして多くの反響があり、その際に寄せられた意見の中から特に要望の多かった

・キャラクター変更機能

・モーションデータ書き出し機能

が今回のアプリで搭載されました。

「ミチコンPlus」特長と機能

特長

ミチコンPlusには、以下のような特長があります。

スマホだけで全身モーションキャプチャが可能

スマホカメラに映した人の動きを、3DCGキャラクターにリアルタイムで反映できます。

通常、モーションキャプチャを行う際はカメラを複数台用意して対象にデバイスを装着する必要がありますが、ミチコンPlusではカメラ1台で3D座標を取得可能なため、特別なデバイスを体には一切装着せず、従来よりも手軽なモーションキャプチャを楽しむことができます。

VRoid Hubとの連携でキャラクター変更が可能

「ミチコン-VisionPose Single3D-」で利用できるキャラクターは、ネクストシステム社のバーチャル広報担当「ミチコ」1キャラのみでしたが、ミチコンPlusではVRoid Hubと連携することで、VRoid Hub内にアップロードされた任意のキャラクターに変更して遊ぶことができます。

キャラクターは、ユーザーのアカウントでVRoid Hubに投稿したもののほか、「いいね」したキャラクターも利用することができ、その場合VRoid Hubに投稿した制作者が

・他の人の利用OK

・全年齢対象

・アバターとして使ってOK

・個人による営利目的の活動(ギフティング等)に使ってOK

の設定をしたものに限り、利用可能です。

※利用にはPRO版へのアップグレードが必要です(360円/月)

モーションデータの書き出しが可能

ミチコンPlusで取得したモーションデータを、CSVで書き出し、メールに添付することが可能です。

また、CSVからUnityの.animに書き出すためのパッケージ等を利用すると、アニメーションファイルにでき、二次利用等に活用できます。

※モーションデータの書き出し機能の利用にはPRO版へのアップグレードが必要。

グリーンバック機能搭載

ライブ配信や、動画編集にも利用しやすいよう、背景をグリーンバックに変更する機能が搭載されました。

別途ライブ配信ソフトや、動画編集ソフト等を利用することで、クロマキー合成も可能です。

スマホでのモーキャプを可能にした「VisionPose」

「VisionPose」とは、カメラのみで複数人の骨格深度情報を検出可能なAIエンジンを含むSDKパッケージ製品です。

・リハビリテーション支援用ロボットの姿勢確認機能

・スポーツのフォームチェックアプリへの利用

・工場や店舗での人の流れや動作の確認

・医療

・エンタメ

など、幅広い分野で導入されています。

主な機能

ミチコンPlusには、以下のような機能が搭載されています。

【キャラセレクト】 キャラクターが選択でき、VRoid Hubと連携するとVRoid Hub上に投稿されたキャラクターの追加が可能です

【位置リセット機能】 キャラクターの位置を画面中央に戻します

【リップシンク切替】 キャラクターの口を動かすかどうか選択できます

【プレビュー切替】 カメラ映像のON/OFFを切り替えます

【カメラ切替】 前面カメラ、もしくは背面カメラに切り替えます

【モーション書き出し録画】 モーション録画しCSVで書き出しします

【グリーンバック切替】 グリーンバックのON/OFFを切り替えます



「ミチコンPlus」製品概要

アプリ名: ミチコンPlus

価格: 無料(有料コンテンツあり)

WEBサイトNEXT-SYSTEM

アプリダウンロードApp Store

推奨端末:iPhone XR、iPhone XS/XS Max、iPad Air(第3世代)、iPad mini(第5世代)、iPad Pro(第3世代)

※A12以上のプロセッサが搭載された端末推奨

まとめ

通常モーションキャプチャを行うためには、機材を揃えたり、スタジオで撮影したりする必要があり、ハードルが高くコストの面からみても手軽とはいえませんでしたが、ミチコンPlusではスマホ1台で可能なうえ、1ヶ月定額で使い放題というシステムなので、とても手軽にアニメーション作成ができます。

リアルタイムで動きをキャラに反映できるので、手軽なモーションキャプチャアプリとして、VTuber活動などでの活用も大いに期待されます。

ソース:「ミチコンPlus」プレスリリース[atPress]









VRInside編集部


VR・AR・MRからVTuberまでXRに関連して最新情報を配信します。

最新ニュースを読む