行政や法執行、企業経営などに関する重要な判断をAIに委ねるようになる日も近いとされるが、現時点でのAIは完璧とは程遠いようだ。

人間のバイアスをそのまま学習してしまうAIの弱点は以前より指摘されていたが、最近、AmazonやIBMのAIについて、相次いで失敗が発表され、AIについて根本的な技術設計からの見直しが迫られている。

・Amazonの顔認識システムが28人の議員を犯罪者と認識

Amazonの顔認識プラットフォーム「Rekognition」を使用したACLUのテストでは、犯罪者とアメリカの全議員の顔写真をマッチングをかけたところ、なんと28人の議員が誤って識別されたとのこと。

しかも、有色人種のほうが誤って識別される確率が高く、議員全体に占める有色人種の割合はわずか約20%なのに対し、犯罪者として認識された議員の約40%が有色人種だった。

このような誤認識により実害をこうむれば大変なことだが、Amazonは顔認識技術を積極的にマーケティングに活用しており、オレゴン州などはセキュリティ対策として、すでに監視カメラとAmazonのシステムを活用してデータベースを作成し始めている。

・IBM Watsonが危険な治療方針を提案

一方で、ガン治療の進展に期待されるIBM Watsonについても、誤った治療方針を示していたことが報じられている。報告によれば、IBM Watsonにより、例えば重度の出血を伴うガン患者に対して、出血を悪化させる可能性のある薬を投与するような提案がなされていたとのこと。

IBM Watsonは、膨大な臨床データを用いて訓練され、有用な医療的判断を導き出すとされてきたが、実際提供されていたデータのほとんどは、現場で患者の治療経験から得られたものでなく仮説的なものだったと判明。つまり、一部の医者がおこなった治療的選択がそのまま提案に反映されていたことになる。

AIによる判断過程はブラックボックス化していて、欠陥を見つけるのが難しい。万が一判断が間違っていたとしても立証しようがないものを実装するリスクは大きく、世に出す前に、これまで考えられてきたよりもずっと入念なテストが求められるだろう。

参照元：AI stumbles in the spotlight/AXIOS
Amazon’s Face Recognition Falsely Matched 28 Members of Congress With Mugshots/ACLU
IBM’s Watson gave unsafe recommendations for treating cancer/The Verge