卓越した先進技術でさまざまなビジネスソリューションを提供しているNEC。

そんな同社は、このほど2つの“AI楽器”を発表した。視線の向きによって音を奏でる「ANDCHESTRA TRUMPET」と、音ごとに定義された姿勢をとることで音を奏でる「ANDCHESTRA VIOLIN」だ。

同社は何を課題として捉え、どのような解決のアプローチを試みているのか。プロジェクトに携わったIMC本部主任・橋本和泉氏、AI・アナリティクス事業部主任・伊豆倉さやか氏に話を伺った。

「人vs AI」ではなく「人と協調するAI」を

ーー御社がAI楽器を開発されたと伺い、「音楽」という分野に着目したのが意外に思いました。なぜこのようなプロジェクトを立ち上げられたのですか？

橋本：当社はAI技術の開発と活用により企業のビジネスの解決・支援、さらに社会が抱える課題の解決に貢献するべく、ソリューションを提供しています。

その中で我々がAIの領域において掲げているのは「人と協調するAI」。ただ、世の中では「人vs AI」のように対立軸で捉えられる傾向があって、我々が目指す方向性が認知されにくいという課題がありました。

もっと世の中に我々の取り組みとその想いを広げていきたいと考え、人をアシストするという観点でどんなことができるかということをずっと考えていて、過去にはアートや食をコンセプトにしたプロジェクトも展開しました。

そして今回は、「できたら嬉しいことは何か」というテーマから、音楽に着目したんです。

リサーチを重ねていくと、音楽は身近なものでありながら、演奏できる人が意外に少ないことがわかりました。多くの人が「楽器を弾けるようになったら嬉しい」「演奏できたらカッコいい」と考えていることもわかったんです。

ーー今回開発されたAI楽器「ANDCHESTRA TRUMPET」と「ANDCHESTRA VIOLIN」にはどのような技術が使用されているのですか？

伊豆倉：ANDCHESTRA TRUMPET（以下、トランペット）は、人の視線を捉えるAI技術「遠隔視線推定技術」を使用し、画面上に配置されたパネルを見つめると、トランペットの音が鳴ります。

視線検知に必要な目頭や目尻、瞳など目の周囲の特徴点を正確に特定することで、通常のカメラのみで誤差は上下左右5度以内と、高精度に視線方向を検知できる仕組みです。

ANDCHESTRA VIOLIN（以下、バイオリン）は、人の姿勢を検知するAI技術「姿勢推定技術」を使用し、あらかじめ定義したポーズをとることでバイオリンの音を鳴らします。

この姿勢推定技術は当社独自の技術でして、人の身体の特徴を肩や腰などの関節から人体領域を検出し、次に関節の中点から姿勢を推定するという2段階のアプローチで人物の姿勢を高精度かつ高速で推定するというものです。

ーートランペットとバイオリンを選んだのはどんな理由が？

橋本：「遠隔視線推定技術」も「姿勢推定技術」も、ディスプレイ、サーバ、カメラの3点さえあれば、どんな楽器にも応用できるのですが、一番の問題はディスプレイをどう楽器の形状に埋め込むかということです。

いくつか楽器のアイデアが挙がった中で、バイオリンはオーケストラの中で主役級の楽器かなということで決定。トランペットのほうは決定するまでにずいぶん悩みましたね。バイオリンが弦楽器なので、それ以外の楽器だと何がいいだろうと話していて。多くの人が知っている楽器という観点で最終的にトランペットに決めました。

「できたら嬉しい」を掘り下げてたどり着いた「インクルージョン」という概念

ーーAIを活用した自動演奏などの楽器はよく見かけるようになりましたが、御社ならではの独自性をどうこれらのAI楽器に持たせようとしたのでしょうか？

橋本：当社はオリンピック・パラリンピックを支援している関係から、世界ゆるミュージック協会という、音楽・楽器に苦手意識がある方など、全ての人に楽器を演奏する喜びを提供することをミッションに活動されている団体と親交があり、交流を通じて障害を持つ方などあらゆる人々の存在を意識するようになりました。

障害を持つ人々の中でも、それを理由に演奏を諦めた経験がある人がいると知り、最終的に「あらゆる人々が演奏を諦めずに楽しめる楽器」として開発を目指すことになったのです。

ーーそうした経緯がインクルージョンという視点をこのAI楽器にもたらしたのですね。これに対して技術サイドは開発工程でどのように応えていったのでしょうか？

伊豆倉：今回、インクルーシヴデザインに取り組みたいということを聞き、さまざまな条件の方々に対してなるべく使いやすく、楽しんでもらえる楽器のデザインを意識し、開発していきました。

試作の段階では、車いすの方や脳性麻痺など障害をお持ちの方にアドバイザーとして加わっていただき、いろんな意見をいただきました。通常の業務では関わることがほとんどないエンドユーザーの生の声を聞くことができたのは貴重な機会でしたね。

さまざまな方々から寄せられた意見を調整するのは大変でしたが、アイデアとしてまとめ、ブラッシュアップしていって完成したときには大きな達成感がありました。

また、この楽器の開発を通して、社内の研究チームやエンジニア、他部門のメンバーとも協力していく中で、インクルージョンという概念を自分事として感じられたことが、とても印象に残っています。

ーー今後このAI楽器をどう発展させていきたいですか？

伊豆倉：開発を手がけた当初はエンターテインメントの観点を中心に考えて進めていましたが、次第に医療現場でリハビリテーションに利用できないかとか、スポーツ選手のフォームをチェックする機能として使えるんじゃないかとか、さまざまな分野で応用できそうだというアイデアが出てきました。

それは、開発中にさまざまな分野の方にアドバイザーとして関わっていただいたことが、今振り返るとAI楽器の今後の発展性において非常に有効だったと思っています。

橋本：確かに音楽以外の分野への応用・発展性は高いと考えています。

音楽・エンターテインメント性を今後より強めていく方向性としては、さらに楽器の種類を追加して、それこそオーケストラ演奏ができないかなと考えています。

必要なのはディスプレイ・サーバー・カメラだけ。音色も楽器に合わせて調整できますから。何か音楽のイベントがあれば、参加してみたいですね。

ーー単なるAIを搭載した楽器ではなく、あらゆる人が豊かな音楽・演奏体験ができる”インクルーシヴ楽器”として生まれたANDCHESTRAシリーズを通じて、どう未来の社会に貢献していきたいですか？

橋本：やりたいことを諦めない世の中になってほしいと思います。そのひとつの手助けとしてAIがあるんだと知っていただけたら嬉しいですね。

自力ではやりたいことを諦めるしかなかったけれど、AIのサポートを借りればこんなことができるようになるということを、もっと広く知っていただきたいなと思っていますし、そのための活動を、今後も積極的に取り組んでいきたいと考えています。