政府機関や企業の意思決定、犯罪の予測、自動運転、病理診断、建築物やシステムの予防全…など、重要な判断をAIに委ねる場面がなにかと増えてきた。

これに対して、学習もとデータに反映されている人々の偏見が、AIの判断にもろに影響することが問題視されている。

この問題は、テキスト中に含まれる単語を分析してステレオタイプや偏見を分析することで明らかになったが、同様の技術を人文学的な研究に応用できることをスタンフォード大学の研究グループが示した。

今までにない規模でおこなわれたステレオタイプの変遷についての研究について説明していく。

・単語をマッピングして微妙なニュアンスを測定

研究グループは、単語間の関連をマッピングするアルゴリズム技術を開発。アメリカでは過去一世紀以上に及ぶジェンダーや民族に対するステレオタイプの変遷を測定した。

アルゴリズムは各単語にベクトルを割り当て、空間的な距離や位置関係により単語間の関連を把握するものだ。

同じ言葉も使われる場面によって意味合いが異なってくるが、アルゴリズムにより、文章中の単語の微妙なニュアンスが測定できる。

研究グループは、新聞データベースから今回トレーニングしたものと、スタンフォード大の別の研究者による、1300億単語以上が含まれる20世紀、21世紀の書籍から以前トレーニングしたものを活用した。

・アジア人やジェンダーに関するステレオタイプの変遷

研究成果からは、アジア人やそれ以外の民族およびジェンダーに関する描写から、ステレオタイプの変遷を定量化できることが示されている。

アジア人と最も関連した形容詞は、1910年代では「野蛮」「怪物」「残酷」などの単語だったが、1990年代までには、「禁止」「受動的」「敏感」などの単語がこれらに取って代わっている。

国勢調査による人口動態のデータと見比べたところ、こうした変化は、1960年代と1980年代のアジア移民の急増と密接に関連していることがわかった。

また、「知的」「論理的」「思慮深い」のような形容詞は、20世紀前半では男性と関連している単語だったが、女性解放運動と連動して1960年代以降には女性との関連が示され、さらに近年に近づくほどその関連性が強くなっていた。

研究で用いられたような強力な文章解析ツールは、データに含まれる偏見の排除とともに、人文学的な研究での活用も広がっていくだろう。

参照元：Stanford researchers use machine-learning algorithm to measure changes in gender, ethnic bias in U.S./Stanford News