硬件感知相关 AI 资讯

7月14日

11:53

官方账号arXiv cs.LG@Shambhavi Balamuthu Sampath, Behzad Shomali, Nael Fasfous, Moritz Thoma, Judeson Anthony Fernando, Lukas Frickenstein, Pierpaolo Mori, Manoj Rohit Vemparala, Alexander Frickenstein, Walter Stechele

HiFi-LLP是一种基于图注意力网络的延迟预测器，引入置信度指标来判断预测可靠性。在LatBench数据集的六个设备上，HiFi-LLP的Spearman秩相关系数最高达0.996。相比先前平台特定预测器，它在10%准确率边界上提升最多9个百分点。混合NAS框架将低置信度预测路由至硬件在环测量，实现8.6倍加速同时保持竞争性的Pareto前沿。

论文 HiFi-LLP LatBench NAS

推荐理由：想用更少的样本准确预测模型在手机上的延迟？HiFi-LLP带置信度打分，NAS提速8.6倍。

原文

6月9日

10:41

官方账号arXiv cs.AI@Rakibul Hasan Rajib, Mengxin Zheng, Qian Lou

精选72°

多轮LLM Agent服务将无状态请求处理转变为有状态程序执行，需要调度、KV缓存管理和路由策略利用程序级上下文。直接在真实系统上评估这些策略成本高昂，而现有模拟器仅针对无状态请求。AGENTSERVESIM 是一个硬件感知模拟器，通过程序编排器、工具模拟器、会话感知路由器和KV驻留模型等模块，在程序粒度上评估服务策略。在真实部署和硬件配置下，AGENTSERVESIM 在关键性能指标上误差小于6%，且完全在普通CPU上运行。该工具使得无需在昂贵加速器上大规模部署即可进行可控、可重复的Agent服务策略探索。

论文 LLM Agent 模拟器 KV缓存

推荐理由：做LLM Agent服务部署和优化的团队，终于有了一个低成本、高精度的模拟工具来测试调度和缓存策略，不用再烧GPU时间试错，建议直接看论文细节。

原文

5月20日

10:09

官方账号arXiv cs.AI@Dmitry Redko, Albert Fazlyev, Konstantin Sozykin, Maria Ivanova, Evgeny Burnaev, Egor Shvetsov

精选

该研究通过三个受控实验，系统评估了 LLM Agent 在硬件感知代码优化中的表现。研究发现，LLM 在纯黑盒优化中表现为贪婪优化器；在零样本内核生成中，提供显式输入大小信息没有可测量的效果，模型会收敛到相同的内核参数；在反馈循环优化中，CUDA 在迭代反馈下单调改进，而 TVM IR 则主动退化。结论表明，LLM 在代码优化任务中高度依赖预训练先验知识，而非提供的反馈或智能体结构。

论文 LLM Agent 代码优化硬件感知

推荐理由：做 AI 编译器或硬件优化的开发者会关心——LLM Agent 的搜索能力被高估了，实际表现受限于预训练数据分布，直接套用反馈循环可能适得其反，建议先看实验设计再决定是否采用。

原文