画像認識をはじめとする多くのAIモデルには、ほんの小さなノイズを紛れ込ませるだけでだまされてしまう脆弱性（アドバーサリアル・エグザンプル：Adversarial Examples）が発見されている。例えば、ビル・ゲイツの顔画像に特殊なピクセルを混入することで、AIはマイケル・ジョーダンと認識してしまい、我々人間にはわからない。

こうした脆弱性を悪用されないために、AIシステムの脆弱性の把握やパラメーターチューニングなどを行うのがベターだろう。Baidu（バイドゥ）は以前から脆弱性対策のための「Advbox」を公開しており、最近論文で同ツールボックスの説明を公表した。

・アドバーサリアル・エグザンプルを生成できる

アドバーサリアル・エグザンプルでは、PyTorchやTensorFlow、Caffe2……なんかの多くのフレームワークで作成したモデルをだますことができ、Advboxはこれらのフレームワークをカバーしているという。

同様の目的のツールキットには、CleverHandsやFoolboxなどがあるが、Advboxはこれらが未対応の、クラウドベースのMLサービスにも対応済みだ。

攻撃による堅牢性を高めることを目的として、6種類のアルゴリズムにより、実際にアドバーサリアル・エグザンプルを作り出すことができる。防衛アルゴリズムも6種類含まれているほか、検出ツールやモデルの堅牢性を評価するためのツールなども付属する。

・顔認識を回避するステルスTシャツも

アドバーサリアル・エグザンプルの例も紹介されていて、ノイズを紛れ込ませて人が見ているものとは別のものに誤認識させる方法や、ある画像をTシャツに貼り付けると、着ている人は認識されないステルスTシャツについても触れられている。

また、画像や動画で顔をすげかえるDeepFakeの例では、ハリウッド俳優エイミー・アダムスの顔にニコラス・ケイジの顔が組み込まれている。DeepFakeに対してバイドゥは、生成されたフェイク画像を検出するAPIを用意してくれているようだ。

オープンソースのAdvboxは、GitHub上に公開されていて、誰でも活用することができる。

参照元：ADVBOX: A TOOLBOX TO GENERATE ADVERSARIAL EXAMPLES THAT FOOL NEURAL NETWORKS/ arXiv