手洗い動作は両手指が複雑に絡み合うため、これまでAIによる認識が困難だった。富士通研究所は人の一般的な動作を認識するAI行動分析技術「 Actlyzer」をすでに開発済みだが、これに手指動作の認識機能を付け加えて、手洗いの判定を可能にした。
2つのディープラーニングエンジンを組み合わせた新方式
現在主流になっている手指の動作認識は、AIがまず指先や関節といった特徴点を検出し、それらの位置関係の変化を捉えるという方式だ。ところが手洗いに関しては、両手が重なって指が絡み合い、石鹸の泡までついているので特徴点の検出が困難。AIは動作認識を正しく行うことができなかった。
富士通研究所は2つのディープラーニングエンジンを組み合わせることで、この問題を解決。両手の全体形状を捉える「両手形状認識エンジン」と、手洗い時の反復動作を捉える「動き認識エンジン」を相互にフィードバックさせ、正確な動作認識を可能にした。
手洗いの6ステップで「OK/NG」を表示
このシステムを組み込んだ洗面台で手を洗うと、洗い方が厚生労働省推奨の6ステップに沿っているかどうかをAIが判定し、それぞれのステップで「OK」か「NG」のサインを表示する。これが開発された背景には、もちろん新型コロナウイルス感染症がある。
同社のニュースリリースによれば、食品事業者は現在、従業員に6ステップの手洗いを実施させ、監視員による目視確認などを行なっているとのこと。今回開発された手洗い判定システムを導入すれば、人につきものの見落としがなくなり、監視員を配置するコストも減らせるという。
富士通