real-time

general · First seen 2026-05-22 · Last seen 2026-10-28 · 369 mentions

Overview

real-time(实时)在当前 AI 语境下,主要指语音到语音(Speech-to-Speech)的实时对话能力:模型直接接收音频输入、即时生成语音输出,延迟低到足以支撑自然的人机对话,被视为 AI 从“文字问答”走向“语音交互”的关键技术路径。近期,这一领域集中出现多款新模型和开源替代方案,竞争明显升温。

Real-time 语音模型的近期进展

  • xAI 发布 Grok Voice 3.0,语音对话指数 86.9 分登顶:xAI 推出的 Grok Voice 3.0 在第三方评测中以 86.9 分登顶语音对语音模型榜单,同时据 Artificial Analysis 报道,它在 Big Bench Audio 基准中还以成本最低著称,兼顾性能与价格。
  • ElevenLabs 发布 Eleven Realtime 两款语音到语音模型,主打实时对话:语音领域老牌厂商 ElevenLabs 推出 Realtime Max 与 Mini 两款语音到语音模型,以低延迟实时对话为核心卖点,与 OpenAI、xAI 形成正面竞争。
  • 蚂蚁与清华推出 Realtime-Venus:OpenAI Realtime API 开源替代方案:蚂蚁集团与清华大学联合发布 Realtime-Venus,定位为 OpenAI Realtime API 的开源替代,让开发者能以更低的成本搭建实时语音应用。
  • Mistral 发布 Voxtral 3 语音模型:Mistral 的 Voxtral 3 系列中,Small Transcribe 3 在语音转文字榜单上位列第 3,显示出非头部厂商在语音链路各环节的追赶力度。
  • 当前焦点与观察点

    从这批发布看,real-time 语音赛道的竞争焦点已经从“能不能做”转向“做得更快、更便宜”。Grok Voice 3.0 在登顶的同时强调成本优势,ElevenLabs 用 Max 与 Mini 双档位覆盖不同预算的场景,都是围绕性价比做文章;而 Realtime-Venus 的出现则说明开源社区希望打破闭源 Realtime API 的垄断。

    另一个值得观察的趋势是实时语音与“执行能力”的结合。阿里云 Apsara 大会上展示的 Qwen3.8-Max 等模型,被描述为“从对话走向执行”,即语音交互不再只是聊天,而是驱动任务完成。实时、低延迟的语音链路正成为 AI Agent 落地的前端入口,这也是各大厂商密集押注的根本原因。

    对普通用户和开发者而言,短期内可关注两点:一是各实时模型在真实场景下的延迟与稳定性表现(榜单分数与体感往往有差距);二是开源方案能否在质量接近的前提下大幅降低接入门槛。

    Coverage

    10 on file