社会システムに組み込まれ、重要な判断や評価に活用されるAIだが、ラベル付けする人や選別するデータセットの持つ偏見が、予測にそのまま反映されてしまうことがわかっている。

南カリフォルニア大学の研究者は、2つの研究でヘイトスピーチの検出とヘイトクライム（偏見がらみの事件）発生件数の予測にひそむ罠を明らかにした。

社会心理学の理論を用いてラベル付けでの偏見をあらわに

TwitterやFacebookでは、投稿にヘイトスピーチが含まれているか検出するためにAIの力を借りている。このプロセスは、タイムラインへのレコメンド表示や投稿の削除なんかの判断にも影響するものだ。

研究者は、社会心理学の理論「ステレオタイプ内容モデル（SCM）」を適用してヘイトスピーチへのラベル付けに潜む偏見をあぶりだした。このモデルでは、集団に対する先入観が、その人柄と能力にもとずいて形成されると仮定している。

分析の結果、ある集団について、能力が高く人柄が良くないと認識されたとき、人はテキストをヘイトスピーチとしてラベル付けする可能性は低くなり、能力が低く人柄が良いと認識されたときには、ヘイトスピーチとしてラベル付けする可能性が高くなる傾向が明らかになった。

選別するデータで予測に差が出る

また研究者は以前の研究で、AIとイベント抽出手法を組み合わせてヘイトクライムの発生件数を予測している。その際、ただただAIでデータを分析するだけでなく、より正確な予測を行うべくデータの選別を意識した。

アメリカの多くの都市では、この手の事件には公式のレポートがない可能性があることから、研究者は地元ニュース記事を分析対象に予測を実施。さらに、FBIによるレポートと地元ニュース記事を比較すると、ほかのタイプの犯罪よりもヘイトクライムが過少報告されていることが立証できたという。

ちなみに研究者によれば、地元ニュース記事を使って予測した件数についても最低ラインのもので、実際にはさらに多い可能性があるとのこと。

AIの予測を正確にするための第一歩は、開発者がまずデータに含まれる偏見を認識することにありそうだ。

参照元：USC Student Develops AI Tools To Tackle Hate Speech, Hate Crimes/ USC Viterbi