AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：推理系统×
6月24日
23:00
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月4日
11:02
11:02arXiv cs.AI@Zhen Yang, Xiaogang Xu, Wen Wang, Cong Chen, Xander Xu, Ying-Cong Chen
精选76°
多智能体推理系统通常采用“先生成再传输”的范式，导致端到端延迟随流水线深度线性增长。StreamMA 提出流式方案，每个推理步骤生成后立即流式传输给下游智能体，实现流水线并行，显著降低延迟。令人意外的是，这种流水线还提升了效果：因为多步推理质量不均匀，早期步骤更可靠，使用早期步骤而非完整链条可防止错误后期步骤误导下游智能体。在数学、科学和代码等八个推理基准上，StreamMA 平均提升 7.3 个百分点，最高提升 22.4 个百分点。研究还发现了“步骤级缩放定律”：增加每个智能体的步骤数能同时提升效果和效率，这是一个与智能体数量缩放正交的新维度。
论文多智能体推理系统流式通信延迟优化缩放定律
推荐理由：做多智能体系统或推理管线的开发者，StreamMA 用流式通信同时解决了延迟和效果问题，值得直接参考实现思路。
原文
6月2日
10:52
5月31日
00:04
00:04IT之家（博客/媒体）
精选76°
小米 MiMo-V2.5 系列 API 完成永久降价，最高降幅达 99%，并首次公开推理系统全链路优化方案。该方案围绕 Hybrid SWA + MoE + 多模态架构，重构了 KVCache 管理、分级缓存、前缀缓存及调度策略，将 KVCache 存储压缩至同级方案的约 1/7，显著降低长序列场景下的推理成本。这是业内首篇全面覆盖该组合架构的大规模工程落地方案，模型能力未缩减，但推理效率大幅提升。核心优化包括双池分治的 KVCache 系统、前缀缓存树重构、GCache 三级缓存以及 KVCache 亲和调度，使缓存命中率达 93% 以上，TTFT P90 降低 30%。
AI产品推理系统KVCacheMiMo-V2.5模型优化小米
推荐理由：小米公开的推理系统优化方案直接解释了 MiMo-V2.5 降价 99% 的技术基础，做模型推理部署的团队可以借鉴其 Hybrid SWA 和缓存管理思路，看完会明白长序列推理成本如何真正降下来。
原文