コーネル大学の研究者は、顔の動きを正確にキャプチャできるネックレス型デバイス「NeckFace」を開発しました。表情や顔の動きを継続的にトラッキングすることで、精神/身体活動の把握に役立つ可能性があります。

デバイスでは赤外線カメラを使用してあごの下からの画像をキャプチャ。ディープラーニングを使用して完全な顔の動きをトラッキングします。同技術はメンタルヘルスをはじめ、感情認識や音声認識、VRといったさまざまなアプリケーションで利用可能です。

歩き回りながらのテレビ会議も可能に

研究者は以前にも、同様の機能を搭載したヘッドセット型デバイス「C-Face」を開発しています。今回発表のデバイスは、目立たずかさばらないという点で、より実用的な設計といえます。

表情を再現できるNeckFaceは、テレビ会議を変える可能性もあるようです。ユーザーは固定カメラの撮影範囲にとどまる必要がなくなり、歩き回りながらテレビ会議に参加できます。

TrueDepthカメラと同等の精度

研究者らは、歩行や顔の向きの転換、デバイスの再装着……といったシナリオを通して、NeckFaceの有効性を確認。表情のパターン変化を捉えたテストで、NeckFaceはiPhone XのTrueDepthカメラのよる直接測定と同等の精度で機能したようです（NeckFaceの紹介は動画でも確認できます）。

テストは、ネックバンド型とペンダント型の2種類の設計で実施。2台のカメラで両側から情報が取得できるネックバンド型がより正確でした。

研究者は、NeckFaceがメンタルヘルス分野で特に有効と考えていて、デバイスの最適化を目指します。

参照元：Smart necklace could track your detailed facial expressions/ Cornell Chronicle
（文・山田洋路）