ロボットとのやり取りやVR空間内の操作で、手の動きがそのまま入力になれば便利だろう。ウェアラブルデバイスを装着することでこれが可能になるかもしれない。

ウィスコンシン大学マディソン校とコーネル大学の研究チームは、手の動きを追跡できるブレスレットを開発した。同ウェアラブルデバイスは、ロボティクスやVR以外にも、医療や福祉の領域で活躍しそうだ。

4台の小型カメラと機械学習を利用してキャプチャ

研究チームが開発のウェアラブルデバイス「Finger Trak」は、4台の小型サーマルカメラと機械学習を使用して、人間の手と指の位置を正確にキャプチャする。

各サーマルカメラはエンドウ豆ほどのサイズで、手の輪郭をシルエット画像として映し出す。ディープニューラルネットワークが、シルエット画像をつなぎ合わせて、3Dの仮想ハンドを作成。

カメラは手にある20の指関節の位置を捉えているようで、動画から仮想ハンドが正確に手の動きを反映しているのがわかるだろう。

手の動きから健康状態を把握することも

手の動きが正確に捉えられることで、モノを持ったことや手話の表現を検知して再現できる。ウィスコンシン大の記事によれば、これ以外にも手の動きの分析が疾患の早期診断に役立つという。例えば手の動きから、パーキンソン病やアルツハイマーといった疾患の兆候を検知できる可能性がある。

ブレスレットをはめておくだけで、健康状態が把握できるようになるとなれば、ブレスレットを常用する人が増えそうだ。

参照元：3D-sensing wristband opens possibilities for sign language translation, virtual reality/ University of Wisconsin–Madison