もし、コンピュータビジョンとLIDARからのデータが矛盾した情報を導き出したのなら、システムが瞬時にどちらがより正確かを判断しなければならない。こうした考えから南カリフォルニア大学(USC)の研究者は、AIによって生成されたデータと予測が信頼できるかどうかを調べるツールを開発した。
2年越しで開発のAI評価ツール
これまで、AI予測の信頼性については評価しようがなかった。DeepTrustは「主観的ロジック」と呼ばれる技術を採用して、AI予測の信頼性を定量化する。ちなみに研究者は、ニューラルネットワーク・アーキテクチャを評価できるツールの開発に2年を費やしたようだ。
2016年の大統領選挙で活用された勝利を予測するAIでDeepTrustをテストしたところ、クリントンの勝利を示したデータでよりエラーが大きいことを示したという。
生成データのノイズを測定
DeepTrustは、AIの信頼性を評価するのに、トレーニングデータのラベルが正確かどうかを見ているわけではない。これらをすべて洗うには膨大な時間を要する。より重要なポイントは、ニューラルネットワーク・アーキテクチャの精度が高いかどうかで、これはサンプルでテストしたときのノイズを測定することで判別できるという。
AIの信頼性を定量化するツールはDeepTrustが最初のものとのことで、さまざまなAIシステムを社会実装するうえで役立てられそうだ。
参照元:How To Make AI Trustworthy/ USC Viterbi