米ジョージア工科大学が、歌って踊って作詞作曲もできるロボット「Shimon」を開発した。ディープラーニングを使用し、表情豊かに演奏する。

・ 歌って踊って作詞作曲できるロボット

まずは、 ジョージア工科大学が公開した動画で歌声を聞いてほしい。

Shimonは歌って踊って作詞作曲できるロボットで、映像ではマリンバ演奏する様子も紹介されている。

研究チームは、このユニークなShimonを以下のように開発した。まず、当研究を率いたWeinberg教授がテーマを設定し、Shimonがテーマに従って歌詞を書いて、教授がそれらを組み合わせてメロディーを作成。ShimonはWeinberg教授が歌をまとめるときに使用するメロディも作成でき、人間のミュージシャンのバンドと一緒に歌を歌う。

・人間だけでは書けなかった音楽

Shimonはジャズやヒップホップなどを集めた5万個の歌詞のデータセットを使って訓練された後、機械学習アルゴリズムのディープラーニングを使用して、独自の単語を作成。ユニークな声はバルセロナのポンペウ・ファブラ大学と共同で機械学習を使用して開発され、数百の歌で訓練が行われた。

口や眉毛や頭を動かして感情を伝えたり、曲の初めにカウントしたりすることでバンドメンバーとの対話も可能。マリンバ演奏もでき、表情豊かな演奏や振り付けもできる。Weinberg教授は、Shimonは単なるミュージシャンの代わりではなく、アイデアを生み出して音楽を広げ、人間だけでは作れなかった音楽を生み出せると述べている。

ShimonとWeinberg教授とバンドは、ロボットと人間が作りだす音楽をより多くの人々に届けるべく、現在ツアースケジュールを調整中。今春Spotifyで、 ShimonとWeinberg教授が一緒に書いた8〜10曲を発表する予定だ。またひとつ、ユニークなロボットが登場した。

Georgia Institute of Technology