言葉で伝えた動きがアニメーションになったら動画制作はがぜん楽になるだろう。将来的にはAIがこれを実現してくれるかもしれない。

文章をアニメーションに変換する技術の第一歩として、このほどカーネギーメロン大学（CMU）の研究チームが、シンプルな文章で棒人間を動かすことに成功したようだ。

研究を積み重ねることで、脚本からアニメ映画ができる…というような複雑な変換も可能になるかもしれない。

・注釈と動きの関連を学習

研究チームは、動きを表す文章を単純なアニメーションに変換できるコンピューターモデルを開発した。

Joint Language-to-Pose（JL2P）というニューラルアーキテクチャを使用。JL2Pでは、言葉と動きを一緒に埋め込み、その関連を学習させられる。

たとえば、「人が走りながら障害物を飛び越える」という文章では、「走りながら」といった動きの速度を表す言葉が入っていたり、「障害物を」といった動きの目的地を表す言葉が入っている。こういった言葉が動きにどう関連しているかを、人の姿勢の3Dデータと対応した注釈から学習させていく。

・まずは棒人間で単純な動きを

研究チームは、まず「人が数歩走る」「人が4歩後ろに下がる」といった、短くて簡単な文章を学習するモデルに焦点を当てた。動画では、短い文章に沿った動きをする棒人間が確認できる。

単純な動きであっても、例えば足を動かすたびに腕や胴体、頭などが動き、アニメーションを調整する必要があるのだそう。最終的には複数の動きが同時、あるいは順番に発生する複雑な文章をアニメーションにするのが研究チームの目標だ。

同モデルで言葉と動きのリンクが確立されれば、アニメーションに限らずロボットに動きを伝えて実行…といった未来もあり得なくはないだろう。、

参照元：Do As I Say: Translating Language Into Movement/CMU