スマホ一台で全身モーションキャプチャーができる！新作アプリ「ミチコン」が公開開始！

2019年5月13日、株式会社ネクストシステムは、スマートフォンで全身のリアルタイムモーションキャプチャーを行い、動きを3Dキャラクターの未確認仮想広報担当ミチコに反映するアプリ「ミチコン-VisionPose Single3D-」（以下、「ミチコン」）をApp Storeにて公開したことを発表しました。

「ミチコン」は、現在開発中の「VisionPose Single3D」の利用例として3月に公開されたデモアプリが好評だったために、正式アプリとしてApp Storeより公開されることになりました。

「ミチコン-VisionPose Single3D-」とは？

「ミチコン」とは、スマホカメラに映した人の動きを、ネクストシステムのバーチャル広報担当の「未確認仮想広報担当ミチコ」にリアルタイムで反映できるアプリです。

これまでモーションキャプチャーを行おうとする場合、通常はカメラを複数台用意し、動きをトラッキングするためのデバイスを対象に装着する必要がありました。

しかし、「ミチコン」では、カメラ1台で3D座標をトラッキングできるなため、特別なデバイスを体には一切装着せず、従来より手軽で簡単にモーションキャプチャーを楽しめるようになりました。

動画配信の小ネタにも使えるグリーンバック機能

「ミチコン」には背景をグリーンバックに変更する機能も搭載されました。

ライブ配信や、動画編集にもアプリを利用しやすくするための機能です。

さらに、別途ライブ配信ソフトや、動画編集ソフトなどを利用することで、クロマキー合成も可能になるとのことです。

「未確認仮想広報担当ミチコ」とは何者？

ミチコとは、ネクストシステムの歴史を学ぶ研修生として、そう遠くない未来から仮想空間を介してやってきた女の子です。

2019年3月25日にネクストシステムの広報担当に着任しました。ネクストシステムで研修しつつ広報活動を行っていくとのことです。

アバターの体が3DCGでできていることを活かして、初仕事として本アプリのデモ開発にモデルとして協力しています。

参考：未確認仮想広報担当ミチコのプロフィール

「VisionPose Single3D」とは？

「ミチコン」に搭載されているVisionPose Single3Dとは、ネクストシステムが提供するVisionPoseシリーズの1つです。

従来のように深度センサに依存せず、AIの技術要素であるディープラーニング(深層学習)を使うことで、骨格の3D座標のトラッキングをカメラ1台のみで可能にしたシステムです。

カメラ1つあれば3D座標のトラッキングができるので、より手軽なモーションキャプチャーの利用ができるようになります。

そのため、カメラが1台しか用意できないケースや、スマートフォンへの搭載時に力を発揮することが期待されています。

「ミチコン-VisionPose Single3D-」の今後の展開について

現在「ミチコン」は、ネクストシステムのバーチャル広報担当のミチコだけに動きを反映できるのみとなっています。

そこで、Single3D、そしてアプリ自体の有用性をさらに充実させるために、

・キャラクターを変更・作成できる機能

・背景を変更できる機能

・動画撮影時にモーションデータをCSVで保存する機能

・全身だけではなく上半身のみでもモーショントラッキングできる機能

といった機能拡張が検討されています。

「ミチコン-VisionPose Single3D-」の基本情報

アプリ名：ミチコン-VisionPose Single3D-

製作者：株式会社ネクストシステム

カテゴリ：エンターテイメント

サイズ：741.7MB

対応OS：iOS

価格：無料

配信：App Store 商品ページ

まとめ

スマホ一台でモーションキャプチャーが楽しめるアプリ「ミチコン-VisionPose Single3D-」が公開されました。

モーションキャプチャーというと映画などで使われる技術で、ロードオブザリングや猿の惑星新三部作で有名ですよね。

通常、体全体の動きをセンサーで読み取るため身体中に小さいデバイスをつけなければなりませんが、「ミチコン-VisionPose Single3D-」では不要となります。

実際にアプリを起動してみると、目の前の人だけではなくテレビ画面に移る人の動きまでキャプチャーできました。そのため、モーショントラッキングの性能はかなり本格的にできているように感じます。

今後は自前のアバターも使えるようになっていくようですので、Vtuberなどの動画配信に活用する例がどんどん増えていくのではないでしょうか。あるいは、もっと手軽にVtuber活動が始められるかもしれませんね。

ソース：「ミチコン-VisionPose Single3D-」公開開始［＠Press］