ニューラルネットワークによって画像のスタイルを変換する研究分野では、敵対的生成ネットワーク（GAN：Generative Adversarial Network）を用いたアプローチが増えてきている。

GANは、ホンモノそっくりの猫の画像を生成するためのネットワークとホンモノの猫を識別するためのネットワークなど、2つの競合するネットワークがお互いをだまし合いながら賢くなったアプローチだ。

このGANを用いて、動画からマンガを生成した研究を紹介する。

・2段階で動画をマンガに変換

この研究は、GANによる画像スタイル変換を動画に応用したものだ。

動画のマンガ変換は2段階でおこなわれる。第1段階では、強化学習をもとにしたキーフレーム抽出アルゴリズムによって、動画から文脈を最もよくいいあらわすフレームのサブセットを選択。画像審美エンジンのフィルターにかける。

第2段階では、選択したキーフレームのスタイルをコミックに変換。美的にクオリティの高いマンガを生成するため、最先端のスタイル変換アルゴリズムをもとに、独自のComixGANフレームワークを実装している。

・「Comixify」のWebページから試せる

動画をマンガ変換する「Comixify」は、Webページから、またはAPIを用いて試すことができる。

短めの動画ファイル（APIでは50MB以内）やYouTubeのURLを貼り付けて変換を実行すると、コマ割りされたマンガ調の画像が表示される。

3種類のなかからスタイルを選ぶこともできて、うち2種類には日本の名アニメ監督を連想させる命名（CartoonGAN-Hayao、CartoonGAN-Hosoda）になっている。ただ、生成されるのはいずれもアメコミ風だ。

近い将来は、コマ割りのレイアウトの洗練やセリフの表示も実装する予定とのことで、さらに実用的なソリューションとなるに違いない。

参照元：Neural Comic Style Transfer: Case Study/Arxiv
Comixify