生物は、視覚情報のすべてを知覚するわけでなく、目自体の処理機能によって脳への負担を減らしている。例えばカエルは、目にハエのような特定のオブジェクトを検出する機能を備えているという。

ブリストル大学とマンチェスター大学らの研究チームは、こうした生物の視覚処理にインスピレーションを得てインテリジェントなカメラシステムを開発した。

センシングと学習を組み合わせたカメラシステム

研究チームによれば、現在の画像認識システムには、その処理方法に問題があるという。カメラが視覚情報を記録して、GPUなどでこれを処理するシステムでは、画像認識が可能になるのはすべての処理が終わった後ということになる。

ただ、自動運転の画像認識で落ち葉の情報が不要なように、GPUに送られるデータには、タスクに関係ない情報が多く含まれていてムダが多い。

ムダな情報がリソースを消費しているとすれば、とりわけリアルタイムでの画像認識が求められるシステムには不利だろう。

こうしたことから研究チームは、学習によって見ているものを理解する新しいカメラシステムを提案している。

画像を記録/送信する前に分類

畳み込みニューラルネットワーク（CNN）を実装する同カメラシステムでは、画像を記録/送信する前の段階で、オブジェクト/イベントの分類が可能だ。

「ピクセル・プロセッサ・アレイ（PPA）」と呼ばれるカメラのプロセッサチップを採用。すべてのピクセルに埋め込みプロセッサを備え、相互に通信して並列処理を実行する。

研究チームは、手書きの数字、ジェスチャー、プランクトンによる検証で、同カメラシステムが1秒間に数千回フレームの分類が可能なことを示した。

画像キャプチャの時点で高速分類を実行にするとの同アプローチは、画像認識システムの処理効率を大幅に高めてくれそうだ。

参照元：Cameras that can learn/ University of Bristol