Googleは拡張現実（AR）の利用の幅を広げる機能を開発者向けキットに追加した。

Augmented Faces APIを用いれば、リアルタイムで撮影するセルフィーに、アニメーションマスク、メガネ、帽子などのオブジェクトを重ねられる。

同技術は、YouTubeストーリーズの新しいエフェクト強化機能にも採用されているものだ。

・カメラ単体で顔の表面を推測

仮想コンテンツを現実世界にうまく固定する際には、表情の変化による顔の表面の追跡を精度高くおこなうことが重要だ。Googleはこれを、奥行きを計測するセンサーを使わず、カメラ単体で実現している。

顔の表面を推測するために機械学習を用いているが、このために、モバイル端末のCPU、あるいは可能であればGPUを利用し、TensorFlow Liteによる推論を走らせる。

TensorFlow Liteはハードウェアの性能に合わせて最適化。AR効果の品質の低下を最小限に抑えつつ、より軽量なモデルを使用することで大幅なスピードアップを図っている。

・ARメガネやAR化粧を施せる

機械学習は2つのネットワークで構成されていて、画像全体から顔の位置を計算する検出器と、表面形状を予測する汎用3Dメッシュモデルがそれだ。

後者により、3Dポイントの位置と顔の位置が適切に重ねられている確率を割り出し、顔を正確にトリミングする。反復して予測を改良することにより、モデルの精度を向上させ、さらにはしかめっ面や斜めになった顔といった予測がむつかしいケースや、カメラの性能や照明条件といった環境が極端なケースにも適応させた。

この技術では、仮想オブジェクトの影や光反射まで再現し、顔の後ろに回り込んだ部分もうまく処理する。

これにより、ARメガネはもとより、とてもリアルなAR化粧や唇の反射具合や輝度まで考慮されたフェイスペイントなどを施すことが可能となった。

Augmented Faces APIは、最新のARCore SDKをダウンロードすることでアプリの開発に利用できる。

参照元：Real-Time AR Self-Expression with Machine Learning/Google AI Blog