ElevenLabs、吹き替えAI「Dubbing v2」をAPIで提供開始。92言語に対応

音声AI企業のElevenLabsは8月6日、吹き替えAIモデル「Dubbing v2」のAPI提供を開始したと発表しました。Dubbing v2は、オリジナル音声の感情やパフォーマンスを維持した多言語吹き替えに対応し、日本語や韓国語を含む92言語を利用できます。

単一APIで吹き替えの生成から再生成まで対応

今回のAPI提供では、多言語吹き替えの作成に加え、スクリプトの調整やセグメント単位の再生成までを単一のAPIで利用できるようになりました。従来のAPIでは生成と編集で異なるエンドポイントを使い分ける必要がありましたが、新しいDubbing APIでは、これらの処理を1つのワークフローに統合しています。

エンタープライズ向けには、独自に用意したスクリプト（ソーステキスト）や翻訳文を指定して吹き替えを生成する機能も提供します。また、特定のセグメントのみを修正して再生成することも可能です。モデルは「model_id」によって切り替えられ、「Dubbing v2」に加え、コスト効率や大規模処理を重視する「Dubbing v1」も同じAPI内で利用できます。

音声から音声への変換で感情やパフォーマンスを再現

「Dubbing v2」は、音声を音声へ直接変換するaudio-to-audio方式を採用しています。従来型の「音声認識→翻訳→音声合成（クローン音声）」というパイプライン方式とは異なり、出力音声を入力音声に基づいて生成するため、オリジナルの感情表現やパフォーマンスのニュアンスをより忠実に反映できます。

今回のAPI提供にあわせて、モデル自体の機能も向上しました。オリジナル音声の感情やニュアンスをより自然に転写できるほか、話者本人の声のクローンを用いた、より自然な多言語翻訳に対応しています。また、発話のタイミングが映像と自然に一致しやすい設計となっており、映像側へのAIリップシンク加工は行いません。

対応言語は日本語や韓国語を含む92言語です。地域アクセントについてはBCP-47言語コードに対応し、スペイン語ではカスティーリャ語とラテンアメリカ、ポルトガル語ではブラジルなど、地域ごとのニュアンスを正確に指定できます。

BGMや効果音を含む音声の吹き替えにも対応

「Dubbing v2」では、背景音や音楽（M&E）の保持についても改善しています。今回のAPIリリースでは、Full mix-inやFull mix-outの精度を高め、複数の話者が入り交じる複雑なシーンでもクリアな吹き替えを実現するとしています。

想定される活用シーンとしては、動画クリエイターやゲームスタジオによるキャラクターダイアログやカットシーンのローカライズが挙げられています。このほか、CPGブランドや旅行・宿泊業界による多言語マーケティング動画の制作、配信・メディア企業による映画やドラマなど長尺コンテンツの多地域展開などでの活用を想定しています。

一方で、今回のローンチにはライブ配信映像などをリアルタイムで多言語吹き替えする機能は含まれていません。ElevenLabsは、クリエイター、メディア企業、エンタープライズなど、グローバルな視聴者に向けて高品質なローカライズコンテンツを届けたい層を主な対象としています。

日本語を含む92言語に対応

「Dubbing v2」が対応する92言語には日本語と韓国語が含まれています。ElevenLabsは日本市場について、アニメ、ゲーム、映像コンテンツなど日本発コンテンツの海外展開時の多言語吹き替えや、海外コンテンツの日本語吹き替えの両方向での活用が見込まれるとしています。

「Dubbing v2」のUI版は5月28日から先行提供されており、今回のAPI公開によって、開発者や企業が自社プロダクトやワークフローに吹き替え機能を直接組み込めるようになります。APIは「ElevenAPI」を通じて提供されています。

参照元：イレブンラボ、感情表現を忠実に再現する新しい吹き替えAIモデル『Dubbing v2』のAPI提供を開始

• AI吹き替え
• Dubbing v2
• ElevenLabs
• 多言語吹き替え
• 音声AI