AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：硬件感知×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月9日
10:41
10:41arXiv cs.AI@Rakibul Hasan Rajib, Mengxin Zheng, Qian Lou
精选72°
多轮LLM Agent服务将无状态请求处理转变为有状态程序执行，需要调度、KV缓存管理和路由策略利用程序级上下文。直接在真实系统上评估这些策略成本高昂，而现有模拟器仅针对无状态请求。AGENTSERVESIM 是一个硬件感知模拟器，通过程序编排器、工具模拟器、会话感知路由器和KV驻留模型等模块，在程序粒度上评估服务策略。在真实部署和硬件配置下，AGENTSERVESIM 在关键性能指标上误差小于6%，且完全在普通CPU上运行。该工具使得无需在昂贵加速器上大规模部署即可进行可控、可重复的Agent服务策略探索。
论文LLM Agent模拟器KV缓存服务调度硬件感知
推荐理由：做LLM Agent服务部署和优化的团队，终于有了一个低成本、高精度的模拟工具来测试调度和缓存策略，不用再烧GPU时间试错，建议直接看论文细节。
原文
5月20日
10:09
10:09arXiv cs.AI@Dmitry Redko, Albert Fazlyev, Konstantin Sozykin, Maria Ivanova, Evgeny Burnaev, Egor Shvetsov
精选
该研究通过三个受控实验，系统评估了 LLM Agent 在硬件感知代码优化中的表现。研究发现，LLM 在纯黑盒优化中表现为贪婪优化器；在零样本内核生成中，提供显式输入大小信息没有可测量的效果，模型会收敛到相同的内核参数；在反馈循环优化中，CUDA 在迭代反馈下单调改进，而 TVM IR 则主动退化。结论表明，LLM 在代码优化任务中高度依赖预训练先验知识，而非提供的反馈或智能体结构。
论文LLM Agent代码优化硬件感知先验知识反馈循环
推荐理由：做 AI 编译器或硬件优化的开发者会关心——LLM Agent 的搜索能力被高估了，实际表现受限于预训练数据分布，直接套用反馈循环可能适得其反，建议先看实验设计再决定是否采用。
原文