ポケモンGOの開発経験を通してAR技術を洗練してきたNianticが、機械学習とコンピュータビジョンに注力し、ARプラットフォーム開発を加速する姿勢を見せている。

今年2月には、マルチOSのARプラットフォームを開発するEscher Realityの買収を発表。そして最近、コンピュータビジョンと機械学習を提供するMatrix Millの買収を発表した。

Nianticが「デジタルと物理世界の橋渡しするオペレーティングシステム」としているNiantic Real World Platformについて見ていこう。

・機械学習とコンピュータビジョンで現実世界をモデル化

Real World Platformでは、歩道や公園といった現実世界をデジタル化し、ARゲームで機能するインタラクティブな3D空間に落とし込んでいる。

リアルタイムに現実世界を反映するARゲームでは、環境やユーザーのダイナミックな動きに合わせてモデルを調整する必要がある。また、マシンパワーが限られているモバイル端末で、高度な処理を実現することも重要だ。

Real World Platformでは、機械学習とコンピュータビジョンを組み合わせてこれらの課題を解決していく方針。

・リアルのモノの「文脈」を理解

まず、ARオブジェクトが現実空間に溶け込むために、空間にあるモノの性質や動きといった「文脈」を理解する必要がある。

これにより、例えばARオブジェクトのピカチュウが、現実空間の植木の飛び乗ったり、歩く人をよけて動いたりといったことが可能になる。

また、湖の性質が理解できれば、そこにアヒルを浮かせることも可能になるだろう。

Real World Platformでは、ディープラーニングとコンピュータビジョンによって現実世界に対する認識を高めているようだ（認識が正しいかどうかの信頼性をスコアで表示）。

机やテーブルといったリアルのオブジェクトをARボキャブラリーとして追加していき、これが増すほど豊かなARの構築が可能になる。

・マルチOSでのタイムラグをなくす

Android、iOSなど、異なる環境が入り混じった複数人でARゲームをプレイする場合にも、遅延が発生すれば共有体験感覚は損なわれる。

この課題を解決するために、Nianticは、独自の低遅延のARネットワーキング技術を開発。ユーザー環境ごとに、コードを書き分けることなく、AR体験の共有を可能にする、クロスプラットフォームソリューションを構築している。

現在は、AR技術開発の第一歩としてゲームに焦点をあてているNianticだが、将来的にはARと接続するあらゆる現実世界で利用できるようにする予定。

そのために、プラットフォームを第三者に開放していこうとしており、今年の後半にはまず、少数の外部開発者に対して機能を公開するようだ。

ARプラットフォームが開放されることでReal World Platformが、デジタルと物理世界の橋渡しとしての役割を果たせる日が近づくだろう。

参照元：A Peek Inside the Niantic Real World Platform/Nianticlabs