全部 AI 动态 · AI 热点

AITOP

6月16日

20:46

AITOP6月16日 20:46

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

6月13日

13:13

Together AI@togethercompute

精选

Together AI的Rish Bhargava在推文中指出，部署语音智能体时延迟超过500ms用户会注意到，超过1秒用户会挂断。他详细分析了整个管道，包括75ms网络延迟为何增加30%开销，以及通过共置所有组件可将延迟降至5ms。推文附有链接，可能提供更深入的技术细节。

技巧语音智能体延迟优化 Together AI 网络延迟共置部署

推荐理由：语音智能体延迟优化实战

原文

6月12日

12:57

AITOP6月12日 12:57

Claude代码里藏了个20260612，18个月后的AI记忆革命已经开始倒计时

6月11日

15:28

AITOP6月11日 15:28

1107 vs 303：谷歌悄悄开源了一个“拆打字机”的模型，把大模型速度翻了4倍

15:23

AITOP6月11日 15:23

DiffusionGemma颠覆文本生成？自回归模型的“统治”要结束了

15:07

AITOP6月11日 15:07

每秒1107个token，Google开源的扩散模型为什么能改变本地推理格局？

6月4日

11:02

arXiv cs.AI@Zhen Yang, Xiaogang Xu, Wen Wang, Cong Chen, Xander Xu, Ying-Cong Chen

精选76°

多智能体推理系统通常采用“先生成再传输”的范式，导致端到端延迟随流水线深度线性增长。StreamMA 提出流式方案，每个推理步骤生成后立即流式传输给下游智能体，实现流水线并行，显著降低延迟。令人意外的是，这种流水线还提升了效果：因为多步推理质量不均匀，早期步骤更可靠，使用早期步骤而非完整链条可防止错误后期步骤误导下游智能体。在数学、科学和代码等八个推理基准上，StreamMA 平均提升 7.3 个百分点，最高提升 22.4 个百分点。研究还发现了“步骤级缩放定律”：增加每个智能体的步骤数能同时提升效果和效率，这是一个与智能体数量缩放正交的新维度。

论文多智能体推理系统流式通信延迟优化缩放定律

推荐理由：做多智能体系统或推理管线的开发者，StreamMA 用流式通信同时解决了延迟和效果问题，值得直接参考实现思路。

原文

6月3日

23:48

Qdrant@qdrant_engine

Qualcomm 的 Alan Zhu 将在 Vector Space Day 上分享边缘端运行生成式 AI 的挑战与经验。他强调，在设备端推理中，延迟不是可以权衡的指标，而是直接影响用户每一次交互感受的关键。活动将聚集 300 多位 AI 构建者，讨论智能体、生产中的记忆、从云到边缘的检索以及多模态 AI。这反映了行业对边缘 AI 实用化、低延迟体验的重视。

行业边缘计算 GenAI Qualcomm 延迟优化 AI 活动

推荐理由：做边缘 AI 或端侧推理的开发者，这场分享点出了延迟对用户体验的直接影响，值得关注 Qualcomm 的实战经验。

原文

5月28日

17:17

marktechpost@Asif Razzaq

精选72°

Perplexity AI 开源了其重写的 Unigram 分词器，该分词器在 p50 延迟上比 Hugging Face tokenizers crate 低 5 倍，同时将生产环境的 CPU 利用率降低了 5-6 倍。这一改进主要针对重排序器（reranker）的延迟瓶颈，通过优化分词效率来提升整体推理性能。开源版本已在 GitHub 上发布，可供开发者直接使用。对于依赖大规模文本处理的 AI 团队来说，这能显著降低计算成本并加快响应速度。

AI模型分词器开源/仓库 Perplexity AI 延迟优化推理加速

推荐理由：做搜索或 RAG 系统的团队终于有了更快的分词方案——Perplexity 开源的这个 Unigram 分词器直接降低 5 倍延迟和 6 倍 CPU 消耗，建议有高吞吐需求的开发者立刻试一下。

原文

5月22日

02:11

rohanpaul_ai@rohanpaul_ai

Nvidia的Shruti Koparkar提出，并非所有token都等价，其价值由嵌入的智能密度和生成速度共同决定。慢速token即使计算成本低，也可能因延迟破坏产品体验；快速token若推理浅薄或输出冗余，同样浪费。不同场景（如医疗分诊、编程助手、购物聊天）对token的需求截然不同，token经济应从用户对不确定性、延迟和成本的容忍度出发，而非仅看模型菜单。

行业 token经济 AI产品设计延迟优化推理效率 Nvidia

推荐理由：做AI产品定价和优化的团队，这篇能帮你重新理解token的「价值」——不是算力便宜就划算，用户等不起的token再便宜也是浪费。建议结合自己的场景算算账。

原文

5月21日

11:07

arXiv cs.AI@Caleb Winston, Ron Yifeng Wang, Azalia Mirhoseini, Christos Kozyrakis

76°

现有网页操作智能体（如 Browser-Use、OpenAI CUA）采用顺序的“抓取-截图-执行”循环，每次迭代都需要调用 LLM，导致高延迟和频繁错误。研究者提出 Agent JIT 编译方法，将任务描述直接编译为可执行代码，包含 LLM 调用、工具调用和并行化。该方法包含三个组件：JIT-Planner 生成多个代码计划并选择最低成本方案；JIT-Scheduler 通过蒙特卡洛成本估计探索并行策略；不变式工具协议减少错误工具使用。在 5 个网页应用上，JIT-Planner 相比 Browser-Use 实现 10.4 倍加速和 28% 准确率提升，JIT-Scheduler 相比 OpenAI CUA 实现 2.4 倍加速和 9% 准确率提升。

论文智能体网页自动化 JIT编译延迟优化工具使用

推荐理由：网页自动化开发者终于有了降低延迟的实用方案——Agent JIT 编译直接解决了顺序执行的高延迟痛点，做 RPA 或浏览器智能体的团队值得一试。

原文