富士通株式会社（以下、富士通）、東日本旅客鉄道株式会社（以下、JR東日本）と株式会社JR東日本クロスステーション（以下、JR東日本クロスステーション）、大日本印刷株式会社（以下、DNP）は、JR上野駅のホームに流れるアナウンスや電車の発着などの音情報を、文字や手話で表現する実証実験を実施します。

期間は2022年6月15日（水）～12月14日（水）を予定。本実証実験を通じて、聴覚に障がいがある人をはじめ、駅を利用する人へ快適な体験を提供し、より安全安心な鉄道利用の実現をめざします。

「エキマトペ」で駅の音を視覚的に表現

JR上野駅の1・2番線（京浜東北線と山手線）ホームにておこなう今回の実証実験では、環境音を文字や手話、オノマトペとして視覚的に表現する装置「エキマトペ」を活用。

駅のホームに流れるアナウンスや電車の発着音、ドアの開閉音などを集音し、AI分析でリアルタイムに文字や手話、擬音語、擬声語に変換して、ホーム上に設置した自動販売機上部の専用ディスプレイに表示します。

音情報の視覚化にあたっては、富士通のスーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC FX1000」で構築したAIの学習モデルを活用し、マイクで集音した駅の音情報を識別するとのことです。

感情豊かなテキスト表現に注目

今回の実験では、発話者の発言を音声認識し、即座に翻訳・テキスト変換する富士通のコミュニケーションツール「FUJITSU Software LiveTalk」を活用し、駅社員によるアナウンスをテキスト変換します。

さらに、文章を読み取り、感情や話題に合わせたフォントに自動で切り替えるという、DNP開発の「DNP感情表現フォントシステム」を通じて、文章の内容に適したフォントを表示し、表情豊かなテキスト表現を実現。

ちなみに、ホームに流れる定型アナウンスは、テキスト変換と同時に、事前収録したJR東日本の駅社員による手話動画とともにディスプレイ上に表示される仕組みになっているようです。

なお、電車の発着音やドアの開閉音は、手書きアニメーションにて表現します。

聾学校でおこなったワークショップから始動

富士通とJR東日本、DNPは、2021年7月に川崎市立聾学校で開催された「未来の通学」をテーマとしたワークショップをきっかけに、エキマトペの開発プロジェクトをスタート。

エキマトペを活用した第1弾のプロジェクトとして、富士通らは、2021年9月13日から9月15日の3日間、JR巣鴨駅にて駅ホームに流れる音を視覚化する実証実験を実施。

第2弾となる今回の実証実験においては、参画企業としてJR東日本クロスステーションが加わり、社会実装に向けてさらなる省スペース化やコスト削減を意識した、エキマトペの筐体の改善を図るといいます。

さらに、台東区と連携し、手話サークルやボランティア団体などの活動情報をエキマトペのディスプレイに表示することで、各コミュニティへの参加を促し、地域のダイバーシティ＆インクルージョンの活性化に貢献するとのこと。

今後、富士通らは、本実証実験を通して得られた知見や、駅を利用した人からのフィードバックをもとに、駅の利便性向上を目指し、あらゆる顧客への情報伝達のあり方について検討を進める方針です。

PRTIMES
エキマトペ

（文・Haruka Isobe）