ネット上にある大量の読み物から目的に合ったものを探し出すのは至難の業だ。条件を満たす読み物にたどり着いたつもりでも、より優良なものを見逃している可能性は高い。

AIが数十億の記事や論文、書籍なんかをスキャンして、そのなかから最適なものをリストアップしてくれれば有用だろう。MIT-IBM Watson AI Labの研究チームは、そんなレコメンドシステムにつながるAI手法を開発。AIの国際学会「NeurIPS」にて発表したようだ。

・トピックや単語を解析して比較

研究チームの開発した手法は、例えば好みの書籍に含まれる要素をスキャンし、類似書籍のレコメンドに活用できる。同手法では、トピックをモデリングしたものや、単語の使われ方などを比較して類似性を探っているようだ。

例えばトピックのモデリングでは、コレクション内で使用される単語に基づいて各書籍を要約し、5～15の最も重要なトピックに分割。各トピックが書籍全体にとってどの程度重要かを導きだす。

コレクション全体でトピックを比較し、次に任意の書籍内で、トピックの重なりの程度を測定することで類似性を判定する。

・ほかの手法の800倍高速

用いられている手法ひとつひとつは一般的なものだが、自然言語処理技術の向上によって、分析の高速化と高精度化が実現している。

研究では、プロジェクト・グーテンベルク内1720組の書籍データを1秒で比較完了。これは、2番目に早いほかの手法の800倍以上の速さとのこと。

高速な比較だけでなく正確な並べ替えもできて、例えば、著者別やジャンル別でリスト化することが可能だ。トピックでリスト化すればAIの解釈プロセスを可視化できて、レコメンドへの納得度合いも高まるだろう。

参照元：Finding a good read among billions of choices/ MIT News