Chinese contentAI 低延迟需求增长，城市内边缘数据中心角色受关注
这篇讲的是数据中心怎么摆位置的问题：训练放郊区，推理搬进市中心来压低延迟。做实时 AI 应用或者关心东南亚机房布局的人可以看看，思路和 AWS Local Zones 这类边缘方案是相通的。
#low latency
24 stories · 1 in 7 days · 2 in 30 days
Stories, products and papers tagged "low latency", newest first.
Nov 10
Oct 30
Papers10:46
Chinese contentSatOps-Decision：90.3 毫秒低延迟星载卫星通信决策模型一篇把判别式决策模型搬到卫星通信上的论文，单次前向 90 毫秒出决策，准确率还比生成式基线高出一大截，做边缘部署的可以看看。
Sep 22
Karpathy comments on LLM intelligence trade-offs
Offers insight into AI development priorities, showing how market demands shape model design beyond just chasing higher benchmarks.
Sep 17
Chinese contentSpaceXAI 推出 Grok Voice，在 fal 平台实现 0.70 秒语音响应
SpaceXAI 新出的 Grok Voice 语音模型，在 fal 平台能用 0.70 秒就回话，比很多同类产品快，适合做低延迟的客服智能体。
Aug 27
Aug 11
Chinese contentNVIDIA发布Magpie TTS：开放权重低延迟多语言语音代理
NVIDIA把Magpie TTS开放权重了，能自己控制部署，低延迟跑多语言语音代理，比闭源API灵活。
Jul 29
Chinese contentOpenAI 研究员盛赞 AMD 联合 AI 推理方案：表现“令人难以置信”
OpenAI研究员认证！AMD和Cerebras合作搞的AI推理方案，延迟低到任务秒完成，每瓦性能提升5倍，搞AI推理的可以看看。
IT之家Source
Jul 24
Jul 21
Chinese contentDiff-Logic：用于边缘EEG低延迟分类的差分逻辑门网络
这论文把神经网路编译成纯布尔电路，在边缘设备上跑EEG分类，延迟低还省电。痴呆检测准确率比MLP高6.8%，值得搞BCI的人看看。
Jul 17
Chinese content阿里通义实验室发布 Wan-Streamer v0.2 模型，AI 视频电话响应延迟仅 550ms
阿里发了 Wan-Streamer v0.2，视频电话延迟才 550ms，画质从模糊到高清，还能边听边看边回应，挺有意思。
IT之家Source
Jul 10
Chinese contentGPT-5.6 Luna：OpenRouter 推出的低成本快速推理模型
OpenRouter 出了 GPT-5.6 的便宜快版本，做聊天和智能体特别合适，比原版便宜还快。
Jul 8
Chinese contentOpenAI 发布 Realtime 2.1 系列 AI 模型，p95 延迟降低 25%
OpenAI 的 Realtime 2.1 延迟更低，价格也更友好，做语音代理的直接换这个，体验提升明显。
IT之家Source
Jun 25
Chinese contentLoka 用 Amazon Nova 2 Sonic 构建低延迟语音代理
Loka 用 Amazon Nova 2 Sonic 做出了几乎没延迟的语音代理，客户不挂电话，客服成本也降了。
Jun 16
Chinese content腾讯云发布AI体育流媒体方案：4K+亚秒延迟+20语言解说
腾讯云这个体育流媒体方案挺强的，4K画质亚秒延迟，还能自动用20种语言解说比赛，全球覆盖也广，搞直播的可以看看。
Jun 12
Chinese contentZyphra 发布 Zamba2-VL：混合 Mamba2-Transformer 视觉语言模型，首 token 延迟降低约一个数量级
做视觉语言模型部署或实时推理的开发者，Zamba2-VL 的首 token 延迟优势能显著提升用户体验，值得直接尝试。
Chinese contentVoxtral TTS 发布：低成本低延迟的语音模型
Voxtral TTS 在成本和延迟上显著优于现有方案，做语音合成或实时语音应用的开发者可以直接关注，技术报告也值得细读。
Jun 10
Chinese contentDeepCogito用Together AI实现500ms首令牌延迟
做推理模型部署的团队会关心这个案例——Together AI帮DeepCogito在创业节奏下实现了500ms首令牌延迟，值得点开看看他们怎么做到的。
Chinese contentGemini 3.5 Live Translate 上线，支持 70+ 语言低延迟翻译
做多语言实时翻译或语音应用的开发者，终于有了一个低延迟、支持 70+ 语言且能自动检测语种的音频模型，值得在 AI Studio 上直接试玩。
Jun 9
May 28
Chinese contentPerplexity 开源 Unigram 分词器，CPU 利用率降低 5-6 倍
Perplexity 解决了推理管线中 CPU 分词这个容易被忽视的瓶颈，做低延迟 AI 应用或自建搜索/重排序系统的团队可以直接用这个开源方案来加速。
May 21
Chinese content谷歌发布 Gemini 3.5 Flash，低延迟低成本领先多项基准
Gemini 3.5 Flash 解决了高智能与低延迟的矛盾，做多步骤代理和编码的开发者可以直接用上，成本还更低，值得一试。
SuperTechFansSource
May 20
Chinese contentGemini 3.5 Flash 低延迟模型发布，专为实时编程优化
实时编程最怕打断思路，Gemini 3.5 Flash 的低延迟设计正好解决这个痛点，做高频编码的开发者可以直接在 Android Studio 里试试，体验心流状态。
May 15
Chinese contentStreaming Speech-to-Text Translation with a SpeechLLM
做实时语音翻译的团队终于有了低延迟方案——延迟降到1-2秒且翻译质量不降，做会议同传或语音助手的开发者可以直接参考。
May 11
Chinese contentNVIDIA Dynamo硬核修复：Agent推理与工具调用漂移问题
推文直指当前Agent系统在基础设施层面的共性痛点，NVIDIA给出的优化路径对降低延迟、保持上下文一致性及提升工具调用实时性有实际意义。