端到端模型相关 AI 资讯 · AI 热点

7月9日

19:22

19:22

官方账号vLLM@vllm_project

精选

MosiAI 发布了 MOSS-Transcribe-Diarize-0.9B，一个 0.9B 参数的开源端到端模型，专门用于多说话人长音频转录。该模型将 ASR、说话人日记化和时间戳对齐整合为单个生成式过程，不同于 WhisperX 的分阶段串联方式。它支持最长约 90 分钟的音频一次性输入，无需分块或拼接，并具备关键词偏置功能以提升专有名词识别准确率。vLLM 在发布当天（day-0）即提供了对该模型的支持。

AI模型 MOSS-Transcribe-Diarize-0.9B MosiAI vLLM 多说话人转录端到端模型

推荐理由：MosiAI 新发的 0.9B 开源模型，一次性搞定多人对话的转录、打标签和加时间戳，90 分钟音频都不用分块，还支持关键词纠偏，赶紧试试。

7月4日

12:01

12:01IT之家（博客/媒体）

宇树科技联合创始人陈立在亚布力论坛上表示，机器人目前没有大面积应用，主要原因在于具身智能大模型尚未成熟。他认为未来2-5年需要统一的端到端机器人大模型，同时需降低硬件成本、提高寿命，并实现超大批量生产。此外，还需要低成本大规模算力，解决端侧续航散热和云端延时问题。

行业宇树科技具身智能机器人端到端模型大模型成本

推荐理由：宇树科技的人说了大实话：机器人普及卡在大模型上。未来2-5年看端到端模型和成本下降。

7月2日

13:54

13:54IT之家（博客/媒体）

伦敦自动驾驶初创公司 Wayve 已获得 28 亿美元（约 190.43 亿元）投资，投资者包括英伟达、奔驰和日产。Wayve 采用端到端机器学习技术，兼容多种传感器和 AI 芯片，不同于特斯拉仅依赖摄像头的方案。该公司已在东京、斯图加特、温哥华建立业务基地，并在全球数百座城市完成测试。其目标是向任何品牌的任何车型授权技术，实现完全自动驾驶。

行业 Wayve 自动驾驶端到端模型英伟达奔驰

推荐理由：Wayve 拿了 28 亿美元要做自动驾驶界的“安卓”，兼容各种车和传感器，比特斯拉更开放。

6月2日

09:39

09:39

官方账号arXiv cs.AI@Sicheng Yang, Shulan Ruan, Shiwei Wu, Yu Liu, Lu Fan, Zhi Li, You He

72°

PolySpeech-100 是一个大规模语音理解基准，覆盖 110 种语言变体，包括 19 种中文方言和 80 多种低资源语言。它采用混合构建流程，结合人工录音和指令驱动合成语音，解决了现有基准偏重高资源语言、仅关注 ASR 而非语义推理、忽视方言的问题。评估 22 个模型（如 Gemini-3、GPT-Audio、Qwen2.5-Omni）后发现：开源端到端模型在重方言上优于级联系统，但低资源语言上性能严重下降；链式思维提示在零样本设置下反而降低大多数模型的语音理解能力。该基准为下一代包容性语音大模型建立了严格标准，数据和代码已开源。

论文语音理解基准测试多语言/方言端到端模型开源/仓库

推荐理由：语音理解基准终于覆盖了方言和低资源语言，做多语言语音模型或方言应用的团队可以直接用这个基准来评估自己的模型，避免只测英语的偏科问题。

5月29日

10:01

10:01

小互@imxiaohu

76°

ElevenLabs 发布了 Dubbing V2，这是一款端到端的 AI 配音模型，彻底改变了传统配音流程。它不再依赖“先转写、再翻译、最后合成”的三段式拼接，而是直接基于原始表演建模声音，将音色、情绪和演绎风格完整保留并穿越到每一种目标语言中。这意味着同一个人开口讲六国语言，听上去仍是本人，连呼吸节奏和情绪都对得上。该模型支持 90 多种语言和口音，可输入音频、视频或文字，自动完成声音克隆、同步感知翻译和措辞本地化，无需手动设置。官方演示展示了在荒岛求生、财务对白和童话故事等场景下的无缝切换效果。

AI产品 ElevenLabs AI配音端到端模型多语言声音克隆

推荐理由：做视频本地化、游戏配音或跨国内容创作的团队，终于有了能保留原片表演灵魂的配音工具——不用再忍受机械翻译和音色断裂，直接上传视频就能出成品，建议立刻试一下。