製品/サービスへの質問や英会話アプリなど、チャットボットはある程度うまく応対してくれるが、少し既定をはずれたとたんに「わかりません」といったお決まりの答えが返ってくる。

これをもう少し人間ぽくしようとの試みがGoogleの研究者らによってなされている。

「Meena」は、特定のコンテキストを理解しながら返答するニューラル対話モデルだ。

・GPT-2の約8.5倍のデータでトレーニング

Meenaは、「Evolved Transformer（モデルの自動探索を利用するTransformer）」と呼ばれるアーキテクチャを利用して、次の発語に対する予測不確実性を最小にするようトレーニングされている。

エンコーダーが会話コンテキストを処理し、Meenaがこれまで発話した内容を理解できるようにする。デコーダーはその情報を使用して実際の応答を定式化する。

トレーニングには、SNS上の会話から持ってきた341GBものテキストデータを用いた。これは、最先端の自然言語処理モデル、GPT-2の約8.5倍にあたるとのこと。

・SSAスコアがヒトに近づく

評価は、Mitsuku、Cleverbot、XiaoIce、DialoGPTといった既存のチャットボットとの比較で行われた。

フレーズごとに「合理性（辻褄があっているか）」「具体性（コンテキストに沿っているか）」が評価された結果、他のチャットボットよりも優れていることが判明。SSAという評価指標のスコア72％を達成し、一般的なヒトのスコア86％に近づく勢いだ。

さらに、人間によるおおがかりでブレが生じがちな評価の代替としてMeenaが活用できそうなことが判明し、ニューラル対話モデルの自動評価が行えるようになる可能性もある。

一方、今回改善されたのは、コンテキストに沿って会話する性質で、チャットボットが真に使えるようになるために、性格の実装や偏見の排除といった課題がまだ残っているようだ。

参照元：Towards a Conversational Agent that Can Chat About…Anything/ Google AI Blog