精选理由
做LLM Agent服务部署和优化的团队，终于有了一个低成本、高精度的模拟工具来测试调度和缓存策略，不用再烧GPU时间试错，建议直接看论文细节。
多轮LLM Agent服务将无状态请求处理转变为有状态程序执行，需要调度、KV缓存管理和路由策略利用程序级上下文。直接在真实系统上评估这些策略成本高昂，而现有模拟器仅针对无状态请求。AGENTSERVESIM 是一个硬件感知模拟器，通过程序编排器、工具模拟器、会话感知路由器和KV驻留模型等模块，在程序粒度上评估服务策略。在真实部署和硬件配置下，AGENTSERVESIM 在关键性能指标上误差小于6%，且完全在普通CPU上运行。该工具使得无需在昂贵加速器上大规模部署即可进行可控、可重复的Agent服务策略探索。
AI 翻译 · 中文
多轮LLM Agent服务将无状态请求处理转变为有状态程序执行，需要调度、KV缓存管理和路由策略利用程序级上下文。直接在真实系统上评估这些策略成本高昂，而现有模拟器仅针对无状态请求。AGENTSERVESIM 是一个硬件感知模拟器，通过程序编排器、工具模拟器、会话感知路由器和KV驻留模型等模块，在程序粒度上评估服务策略。在真实部署和硬件配置下，AGENTSERVESIM 在关键性能指标上误差小于6%，且完全在普通CPU上运行。该工具使得无需在昂贵加速器上大规模部署即可进行可控、可重复的Agent服务策略探索。
Multi-turn LLM agents interleave model calls with external tool invocations, shifting serving from stateless request processing to stateful program execution. Serving these workloads requires scheduling, KV-cache managem…