ElevenLabs 推出 Dubbing V2:端到端AI配音,音色情绪跨语言穿越

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化:配音不再是"先转写、再翻译、最后合成"三段式拼接,而是模型直接基于原始表演建模声音。 并将音色、情绪、演...

精选理由

做视频本地化、游戏配音或跨国内容创作的团队,终于有了能保留原片表演灵魂的配音工具——不用再忍受机械翻译和音色断裂,直接上传视频就能出成品,建议立刻试一下。

AI 摘要

ElevenLabs 发布了 Dubbing V2,这是一款端到端的 AI 配音模型,彻底改变了传统配音流程。它不再依赖“先转写、再翻译、最后合成”的三段式拼接,而是直接基于原始表演建模声音,将音色、情绪和演绎风格完整保留并穿越到每一种目标语言中。这意味着同一个人开口讲六国语言,听上去仍是本人,连呼吸节奏和情绪都对得上。该模型支持 90 多种语言和口音,可输入音频、视频或文字,自动完成声音克隆、同步感知翻译和措辞本地化,无需手动设置。官方演示展示了在荒岛求生、财务对白和童话故事等场景下的无缝切换效果。

原文 · 小互

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化:配音不再是"先转写、再翻译、最后合成"三段式拼接,而是模型直接基于原始表演建模声音。 并将音色、情绪、演...

ElevenLabs 推出 Dubbing V2 端到端的AI配音模型... 最大的变化:配音不再是"先转写、再翻译、最后合成"三段式拼接,而是模型直接基于原始表演建模声音。 并将音色、情绪、演绎都跟着穿越进每一种语言 也就是说,同一个人开口讲六国语言,听上去还是他本人,连情绪和呼吸节奏都对得上 Dubbing v2 支持 90 多种语言和口音, 原理:它针对原始表演来生成,而不是针对一段转录文本,所以语气、情绪、表达方式会跨语言保留下来,声音克隆全自动,会给原说话人建一个声音模型并应用到所有目标语言,保留身份、音高和语气,不用手动设置。 另外支持音频、视频和文字三种输入 具体能力: • 音色穿越:不是模仿你的声音,是你的声音直接在另一种语言里说话 • 情绪保真:原片里你笑你叹气你激动,译版照样有 • 同步感知翻译:译文长度匹配原片口型和停顿,不会嘴动完了字幕还在跑 • 措辞本地化:不是字面直译,每种语言用自己的表达方式 • 端到端全自动:传一个视频进去出一份配音,中间没有手工拼接 视频里他们演了三个场景: MrBeast 风格的荒岛求生在 English/German/French 之间无缝切换 一段财务部门的快节奏对白试连贯性 一个童话故事试表达力 Your browser does not support the video tag. 🔗 View on Twitter 💬 8 🔄 1 ❤️ 13 👀 2486 📊 11 ⚡

ElevenLabs 推出 Dubbing V2:端到端AI配音,音色情绪跨语言穿越 · AI 热点