音から音へピッチを滑らかにすべらせることを、音楽用語で「ポルタメント」という。これができるのは弦楽器や人間の声、トロンボーンなんかになるが、MITの大学院生Trevor Hendersonさんが、アルゴリズムによって2音間のポルタメントを可能にしたようだ。

実験では、ピアノの音が人間の声とスムーズに混ざり合う、歌が別の歌に溶け込む…といった、さまざまなオーディオクリップの合成を試している。

・音のボリュームを下げずに移行

今回開発されたのは、2つのオーディオ信号間で、リアルタイムにポルタメント効果が生成できる初のアルゴリズムとなる。

DJ機材に慣れた方なら、曲をなめらかに繋ぐミキサーのクロスフェーダーでもそれはできる…と考えるかもしれない。あるいはシンセサイザーでピッチを切れ目なく移行させるグライドも、同じような効果が得られる気がする。

ただこれらは、一方の音のボリュームが下がるタイミングでもう一方のボリュームが上がる、という作業がスムーズにおこなわているに過ぎない。

今回開発されたアルゴリズムでは、2音のボリュームを上下させることなくそのまま移行する点で画期的なものだ。

・モーフィングの理論を転用

同技術は、CGであるモノが別のモノに滑らかに変化する「モーフィング」に用いられる理論を転用したものだという。砂山が砂の城に変わる際には、砂粒ひとつひとつの最適な移行経路が計算されている。

2音の移行では、音を約50ミリ秒単位で細かく分割。周波数構成を変化させながら、最適な移行経路で別の音に合成する。これにより、ある和音をより多くの音符で構成される和音にシームレスに変換することもできるし、楽器の音に人の声を合成することなんかも自在だ。

理論はなかなかイメージしづらいが、百聞は一見に如かず…ということで、Trevorさんはすでに同技術をデバイスに実装していて、ポルタメント効果の生成を実演しているところが動画で確認できる。

同技術は、もちろんDJプレイなんかでも利用できて、曲の切り替えが別次元のなめらかさで実現できそうだ。

Using math to blend musical notes seamlessly/MIT News