AR Kitとは？Appleが提供する「AR Kit」についての情報まとめ！

AppleはかねてよりAR分野の開拓に力を入れてきましたが、その取り組みの中心にあるのがARプラットフォーム「AR Kit」です。

リリースされてから数々のアップデートが行われ、より便利に、簡単にARコンテンツを構築していくことができるようになりました。

そこで、ここでは「AR Kit」でできることや特徴、対応機種、そしてGoogleのAR Coreとの違いについてご紹介していきます。

AR Kitとは？

AR KitはApple社が開発したiOS対応のARプラットフォームです。

iOSに搭載されたモーションセンサーとカメラで取得した空間や物体に関する情報をもとに、高精度なAR体験をすることができます。

これまでも専用のセンサーやカメラなどを利用して空間や位置を把握することができるアプリはありましたが、ARKitでは特別なデバイスを使う必要なく、iPhoneやiPadのカメラを使ってARコンテンツを構築できるのが特徴です。

AR Kitで何ができる？

AR Kitはリリース当初、

・平面検出(認識)

・周囲の明るさ検出

・3次元の点座標情報検出

・自分の位置検出

・現実世界のスケール検出

をベースとなる機能として搭載していました。

しかし、アップデートを重ねて

・ピープルオクルージョン

・モーションキャプチャ

・フロントカメラとバックカメラの同時使用

・複数人のフェイストラッキング

・AR空間のシェアリング

といった新機能も続々と実装され、より便利に利用できるようになりました。

１ 平面検出(認識)

ARKitでは平面を認識し、自由にオブジェクト(木やキャラクターなどの物体)を配置することが出来ます。

複数平面の検出もでき、高さによる平面の位置の違いを認識することによって階段などの段差に対応可能です。

ただし、リリース当初は認識できるのは水平面のみで、壁など垂直になった平面認識することはできないという欠点がありました。

しかし、直後に行われたアップデートにより壁などの垂直面も認識できるようになっています。

また、AR Kitで認識できるのは単純な形の平面のみとなっていましたが、円形のテーブルなど特殊な形状の平面も問題なく認識することが可能です。

２ 周囲の明るさ検出

カメラによって全体の明るさを数値で検出する機能です。

当初は、光源の位置などを検出できず、太陽の位置に合わせて自動で影の向きが変わるというような事もできませんでした。

しかし、その後のアップデートが行われ、機械学習によって光沢や光の反射など環境光をARに反映する機能がより向上しています。

３ 3次元の点座標情報検出

カメラの画像を分析して人の顔や物体など、現実の空間の座標を取得し、3D空間上に立体的な像を検出します。

取り込んだ映像から凹凸などを推定するため、真っ白なものなど見た目の特徴がないものは認識しにくいのが弱点です。

４ 自分の位置検出

ARにとって最も重要な要素の一つが、自分の位置情報です。

AR空間として表示される映像に現実世界の状況を正しく反映させるために位置情報は欠かせません。

そこで、AR Kitでは自分が使っている端末がどこにあるのか、端末のカメラがどの方向を向いているのかという情報を検出するようになっています。

５ 現実世界のスケール検出

実物の距離や長さ、大きさを測定することが可能です。

これにより、

・現実世界と同じ大きさを表現する

・ポイントからポイントまでの距離を測る

・車や家具などを実際の大きさで表示し、スペースに収まるかを確認する

といったことができるようになります。

６ ピープルオクルージョン

まず、オクルージョンとは手前にある物体が背後にある物体を隠して見えないようにする状態のことです。

つまり、ピープルオクルージョンとは、人とCGモデルの前後関係を機械学習によって認識・判断して、AR表示上で反映させることができる機能になります。

人とCGモデルが重なっている場合、前後関係を認識することによって、

・人がCGモデルの陰に隠れる

・人がCGのなかに入り込む

といったシチュエーションをARで表現することが可能です。

通常、人とCGとの前後関係を反映するには、距離センサーなどの特別なデバイスが必要となります。

ピープルオクルージョンではiPhone・iPadに搭載されているリアカメラのみで、リアルタイムで人とARモデルを重ねることができるのが特徴です。

ただし、現段階では認識・判断できるのは「人の形」だけで、その他の物体はオクルージョン表現することはできません。

７ モーションキャプチャ

 

AR Kitでは特殊なデバイスを使うことなくモーションキャプチャを利用することも可能になりました。

iPhoneなどのカメラを向けるだけで、骨と関節を認識し人の体の位置と動きをキャプチャすることができます。

ただし、スマホのカメラをセンサーとして使っているために、現状では簡易的な機能にとどまっており、指先の細かい動きなどを認識することはできません。

８ フロントカメラとバックカメラの同時使用

AR Kitに施されたアップデートにより、フロントカメラとバックカメラを同時に使用できる機能も実装されました。

バックカメラでワールドトラッキングを行いながら、フロントカメラでフェイストラッキングを行うことができるようになっています。

そのため、バックカメラでAR表示したキャラクターに、フロントカメラで撮影した自分の表情を反映させることが可能です。

９ 複数人のフェイストラッキング

通常フロントカメラでトラッキングできるのは一人だけですが、AR Kitでは最大3人の顔を同時にトラッキングすることができます。

「Animoji」や「Memoji」などフロントカメラの顔認識機能を使った機能をさらに複数人で楽しむことができるようになるのが特徴です。

10 AR空間のシェア

AR Kitでは一つのAR空間を複数人で共有して、楽しんだり共同で作業することができます。

リリース当初のAR Kitでは、同じアプリを起動していても自分が見ているAR空間を同じ空間にいる人と共有することはできませんでした。

しかし、AR空間のシェア機能が実装されたことにより、AR体験の構築作業をスピーディーに行うこともできます。

AR Kit対応端末

AR KitはAppleが提供しているため、iOS端末にだけ対応しています。

具体的にiPhone、iPad、iPodそれぞれのどの機種が対応しているかをまとめました。

iPhone

・iPhone 11

・iPhone 11 Pro

・iPhone 11 Pro Max

・iPhone XS

・iPhone XS Max

・iPhone XR

・iPhone X

・iPhone 8

・iPhone 8 Plus

・iPhone 7

・iPhone 7 Plus

・iPhone 6s

・iPhone 6s Plus

iPad

・iPad（第7世代）

・iPad（第6世代）

・iPad（第5世代）

・iPad Pro（すべてのモデル）

・Pad Air（第3世代）

・iPad mini（第5世代）

iPod

・iPod touch（第7世代）

AR Coreとの違い

AR KitとともにARフレームワークとして有名なのが、GoogleのAR Coreです。

AR KitとAR Coreを比較してみて、できることに関してほとんど差はありません。

ただし、顔や平面の認識速度の点ではAR Kitがやや早く、特に顔に関しては目や口の開き具合といった細かいところまで認識できるという違いがあります。

また、AR KitがiOS端末だけで使えるのに対し、AR CoreではAndroid端末とiOS端末の両方で利用することができるのも大きな違いになります。

まとめ

AppleはAR技術を専門家だけの閉じた技術にするのではなく、広く多くの人が使える技術としてARを位置付ける試みをしてきました。

その試みの代表的なものがAR Kitです。

2017年のリリース以来、AR Kitはアップデートが次々に加えられ、より簡単にARのアイデアを試すことができるようになっています。

さらに、もう一つAppleのARに対する取り組みとして注目すべきものが、AR Kitのアップデートに合わせてリリースした「Reality Composer」です。

「Unity」などのプログラム・アプリを必要とせずARで動くデモを作り、iPhoneやiPad上で作成したARデモを動かすことができるようになります。

エンジニアでなくても動くARをスマートフォンさえあれば作り上げることができるため、AR作成がより身近で気軽にできるものとなりました。

AR KitやReality Composerのようなアプリの充実が、現在開発中と噂されるAppleのARグラスの基盤になっているといえるのではないでしょうか。