大日本印刷株式会社（以下、DNP）は、株式会社NHKテクノロジーズ（以下、NT）と共同で、「感情表現字幕システム」のプロトタイプを開発。映像と音声をAIで解析し、内容や感情に合ったイメージの字幕表示を行うシステムとなっている。

発話者の感情に合わせた字幕を自動表示

感情表現字幕システムでは、録画や生放送の音声に合わせて、リアルタイムで字幕を自動的に付与する。その際、発話内容や発話者の表情に基づいて感情を把握。そして、その感情の表現に最適なフォントを、12種類の中から自動で選んで字幕に使用するという。たとえば、楽しい内容は丸みのあるフォントになるとのことだ。

また、映像内の発話者を特定して、その発話者の口元に字幕を自動表示。これにより、複数の人物が登場する映像でも、どの人物が何を話しているかを直感的に伝えられるとした。

実用化に向けた開発を継続

DNPとNTは、感情表現字幕システムの開発を継続し、まずは字幕が常時表示される「オープンキャプション」での実用化を目指す。また、視聴者側で字幕の表示・非表示を切り替えられる「クローズドキャプション」に向けた展開も図る。

さらにDNPは、デジタルサイネージなどの動画字幕への応用に加え、映像編集用ソフトウェアとしての提供を計画している。

なお、同システムは、来月2日～8日に渋谷ヒカリエおよびオンラインで開催予定の「超福祉展2020」にて紹介される予定。

大日本印刷株式会社（DNP）

（文・早川あさひ）