文章を外国語に訳す翻訳ツールは数多く展開されているが、米ニューヨークのスタートアップCaptionsがこのほどリリースしたのは、映像のなかの人物の話し言葉をスマホで簡単にさまざまな言語に変換できるモバイルアプリ「Lipdub」。同アプリは、日本語を含む28言語に対応している。

自己紹介の映像も簡単に吹き替え

Lipdub（現在iOSのみ）は、アプリ内のカメラで撮影、または既存のビデオをアプリにアップロードすると、ビデオの中の人物の話し言葉を、選んだ言語に吹き替えられるというもの。

人工知能（AI）を活用しており、たとえば日本語で自己紹介するビデオを撮り、英語やフランス語、スペイン語といった外国語に変えて、日本語以外の話者に案内するという使い方ができる。

対応言語は上記以外にイタリア語やドイツ語、ポルトガル語、オランダ語、韓国語、アラビア語、マレー語など幅広い。英語に限定されるが、米南部テキサス州のなまりやZ世代の話し方なども用意されている。

口元の動きも外国語風に

またLipdubは、吹き替えが自然な仕上がりになるよう、話者の口元の動きまで言語に合わせて変えられるのもポイント。いかにも流暢に外国語を話している感じにしてくれる。

このアプリを使用する上での主な注意点は、ビデオの中で話す人物のうち1人の吹き替えのみが可能であること。また、ビデオの長さは最長1分という制限がある。短いビデオメッセージ、商品やサービスの紹介などに使えそうだ。

どのような感じになるかは、以下のデモビデオを参考にしてほしい。

25秒のビデオ、約5分で吹き替え完成

筆者はLipdubを使って、日本語で紹介する長さ25秒ほどのビデオを撮影し、実際に試してみた。

アプリを立ち上げて言語を選び、ビデオをアップロードすると、すぐさま吹き替え作業がスタート。待つこと5分近くで、英語吹き替え版が出来上がった。

完成したものは、確かに話し言葉が日本語から英語に変わっているが、声はほぼ同じ。口の動きも実際に英語を話しているように見える。

もちろん、英語で話す内容もオリジナルに沿ったものになっている。100％正確で自然な言い回しというわけではなさそうだが、少なくとも観た人に内容は伝わるだろう。馴染みのない外国語の場合は特に重宝しそうだ。

Lipdub、今後は世界展開を視野に

無料アプリのLipdubは現在、米国のApp Storeでのみダウンロードできるが、世界への展開を準備しているようだ。

開発元のCaptionsは、Lipdubの前にビデオ編集アプリを手がけている。Lipdubと同様AIを活用し、ビデオの中の「あの」「えーっと」といった不要な言葉やカットしたりノイズを消去したりできるというもので、今回のLipdubはその延長線上にあるアプリともいえそうである。

公式ウェブサイトによると、社名と同じ名称のビデオ編集アプリの方はデイリーユーザー10万人超とすでに固定ファンをつかんでいるようだ。

なおCaptionsは2021年創業で、これまでにセコイア・キャピタルやアンドリーセン・ホロウイッツといった名だたるベンチャーキャピタルから資金を調達している。

Lipdub

（文・Mizoguchi）