延迟(latency)指系统从接收请求到返回响应之间所经历的时间,在大模型推理、语音交互、实时翻译和网络传输等场景中,是衡量用户体验最核心的性能指标之一。随着 AI 应用从文本走向语音和多模态实时交互,如何压低延迟正成为硬件、网络和推理框架多个层面的共同竞争点。
大模型推理中的 latency 优化
推理框架 SGLang 近期发布了与 NVIDIA 合作构建的低延迟(Low-Latency)模式,专门面向对响应速度要求极高的在线推理场景,与已有的高吞吐模式形成互补,反映出推理引擎正在按“吞吐优先”和“延迟优先”分化出不同的调优路线。与此同时,NVIDIA 官方整理发布了 LLM 推理基准的指标定义,把首 token 延迟(TTFT)、token 间延迟等概念统一梳理,为社区衡量和比较延迟提供了更规范的参照,避免各家口径不一导致的误读。
语音与实时场景的延迟竞赛
语音 AI 对延迟尤其敏感。xAI 更新了 Grok Voice 3.0 语音对话模型,主打卖点就是低延迟和低于竞品的成本,表明语音模型的竞争已经从“能不能听懂”转向“反应有多快、多便宜”。在实时翻译领域,marktechpost 盘点了 2026 年 12 款 AI 同声传译工具,对比维度中延迟与语言数量、定价并列,说明延迟已成为用户选型的硬指标。
网络层的 latency 突破
除了模型侧,传输介质也在压低延迟。据 Pandaily 报道,空芯光纤(Hollow-Core Fiber)已在中卫与宁夏智能算力中心之间投入商用,相比传统光纤削减超过 30% 的延迟。这类技术把光在空气而非玻璃中传播的特性用于数据中心互联,被视为 AI 集群长距离互联的潜在方向之一。
当前焦点与观察点
目前的讨论集中在三点:一是延迟指标的标准化,NVIDIA 的定义梳理可能推动基准测试更可比;二是推理框架的低延迟模式与高吞吐模式如何权衡,不同业务需要不同取舍;三是端到端延迟,从光纤、网络到模型推理各环节的叠加优化。微软在 Windows 11 上因系统响应变慢而承认问题并推送修复,也从侧面说明无论云端还是本地,用户对响应速度的敏感度都在上升。后续值得观察的是低延迟语音模型能否把交互做到接近真人对话的自然节奏,以及空芯光纤能否在更多算力中心间复制这种部署。