AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：延迟优化×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月4日
11:02
11:02arXiv cs.AI@Zhen Yang, Xiaogang Xu, Wen Wang, Cong Chen, Xander Xu, Ying-Cong Chen
精选76°
多智能体推理系统通常采用“先生成再传输”的范式，导致端到端延迟随流水线深度线性增长。StreamMA 提出流式方案，每个推理步骤生成后立即流式传输给下游智能体，实现流水线并行，显著降低延迟。令人意外的是，这种流水线还提升了效果：因为多步推理质量不均匀，早期步骤更可靠，使用早期步骤而非完整链条可防止错误后期步骤误导下游智能体。在数学、科学和代码等八个推理基准上，StreamMA 平均提升 7.3 个百分点，最高提升 22.4 个百分点。研究还发现了“步骤级缩放定律”：增加每个智能体的步骤数能同时提升效果和效率，这是一个与智能体数量缩放正交的新维度。
论文多智能体推理系统流式通信延迟优化缩放定律
推荐理由：做多智能体系统或推理管线的开发者，StreamMA 用流式通信同时解决了延迟和效果问题，值得直接参考实现思路。
原文
5月21日
11:07
11:07arXiv cs.AI@Caleb Winston, Ron Yifeng Wang, Azalia Mirhoseini, Christos Kozyrakis
76°
现有网页操作智能体（如 Browser-Use、OpenAI CUA）采用顺序的“抓取-截图-执行”循环，每次迭代都需要调用 LLM，导致高延迟和频繁错误。研究者提出 Agent JIT 编译方法，将任务描述直接编译为可执行代码，包含 LLM 调用、工具调用和并行化。该方法包含三个组件：JIT-Planner 生成多个代码计划并选择最低成本方案；JIT-Scheduler 通过蒙特卡洛成本估计探索并行策略；不变式工具协议减少错误工具使用。在 5 个网页应用上，JIT-Planner 相比 Browser-Use 实现 10.4 倍加速和 28% 准确率提升，JIT-Scheduler 相比 OpenAI CUA 实现 2.4 倍加速和 9% 准确率提升。
论文智能体网页自动化JIT编译延迟优化工具使用
推荐理由：网页自动化开发者终于有了降低延迟的实用方案——Agent JIT 编译直接解决了顺序执行的高延迟痛点，做 RPA 或浏览器智能体的团队值得一试。
原文