専門知識・技術と長時間を要する作業だった音声吹き替えや動画制作が、AIの進化で多くの人にとって身近なものになりつつある。

昨年12月にTechableで取り上げたアメリカのスタートアップCaptions。この時は、映像に映る人物の話し言葉を28の言語に変換するスマホアプリ「Lipdub」を紹介した。動画編集・字幕追加・吹き替えなどが可能な同社プラットフォームに、先月新たな機能が追加されたようだ。

6月に実装の新機能は「AI Creator」

Captionsのプラットフォームには、上述の自動吹き替え機能のほか、自動文字起こし機能や、テロップ作成機能なども備わっている。

また、カメラの前の人物がカンペを読むために視線を落とすなどしてカメラを見ていない部分も、ポストプロダクションでカメラ目線に自動修正してくれる。

しかし、これらの機能はいずれも動画に登場してセリフを発する生身の人間と撮影作業が必要になる。セリフをうまく読めない人や顔出ししたくない人には、こうした動画制作はハードルが高い。

そこで今年6月に実装されたのが、新機能「AI Creator」だ。公式サイトで「撮影作業は飛ばして、生成しよう」と謳われるとおり、人間を撮影する必要がなくなる。誰でも簡単にAIアバターを利用して動画を制作できるのだ。

まずはいくつか用意されたAIアバターから好きなモデルを選択する。次にアバターに読ませる台詞を入力、その後映像を出力すれば、アバターがセリフ通りに話してくれる。

もちろん、日本語を含め多言語に対応。日本語でセリフを文字入力して設定を日本語にすれば、AIアバターが日本語アクセントで話してくれる。人物だけでなく衣装や背景、照明も選択可能だ。

筆者が使用して新機能の品質をチェック

今回筆者は、無料体験版で「AI Creator」を実際に使用、AIアバターに次のような日本語の文章を読ませてみた。

「ジャイアント馬場は、かつて巨人軍の投手でした。しかし野球選手としては芽が出ず、プロレスラーに転向します。アメリカに渡航した馬場は、当時の日本のトップアスリートを上回る年収を獲得しました。彼にとって、アメリカは約束の地だったのです」

無料版では作成した動画のエクスポートができないため、残念ながら結果をお見せすることができない。結論から言うと、まだまだ不完全な部分はある。特に人名は弱いようで、漢字で入力した「馬場」がまったく違う文言になっていた。また、漢字を正確に読み取れていない部分も。

ただ、「アメリカ」を「America」ではなく日本語として発音した点は評価できる。「彼にとって、アメリカは約束の地だったのです」も、ほぼ日本語ネイティブのイントネーションだった。全体としては、「誰でも簡単に生成できるAIアバター動画」の可能性を十分に感じるものだと言える。

また、動画内のアバターのリップシンクにはまったく違和感がなかった。もちろん、セリフに合わせた字幕も自動生成してくれる。動画制作のハードルを大幅に下げるAI Creator機能は、企業や団体、行政などの広報動画での活用が想定されている。

7月にはシリーズCラウンドで6000万ドルを調達

ニューヨークを拠点とするCaptionsは2021年に設立されたスタートアップ。

7月9日にはシリーズCラウンドで6000万ドルを調達したことを発表。Index Venturesが主導したこのラウンドには、Kleiner Perkins、Sequoia Capital、Andreessen Horowitz、Adobe Ventures、Hubspot Ventures、そして俳優兼ミュージシャンのジャレッド・レト氏が加わった。

このラウンドにより同社の調達総額は1億ドルに達し、企業評価額は5億ドルになったという。

今年に入ってから従業員数は15 人から60人に増加、同社ツールを利用するクリエイター数は1000万人を突破した。今後はニューヨークがAI研究のハブとなることを見込み、1億ドルを投資して同市で生成動画のリサーチを進めるとしている。

参考:
Captions

（文・澤田 真一）