KV-aware Routing（KV 缓存感知路由）是一种大模型推理优化技术，核心思路是在多个推理实例之间调度请求时，参考各节点已有的 KV 缓存（前缀缓存）分布，把请求优先路由到缓存命中率最高的节点，从而减少重复预计算、降低首 token 延迟并提升 GPU 利用率。随着长上下文和 Agent 应用兴起，它正成为推理服务架构中越来越受关注的一层。
KV-aware Routing 的近期进展
当前焦点与观察点
目前围绕 KV-aware Routing 的讨论主要集中在几个方面：一是路由粒度问题，按前缀哈希路由实现简单，但对多轮对话、随机化系统提示等场景命中率有限；二是与自动扩缩容的冲突，缓存亲和性会把流量集中到少数节点，而弹性伸缩希望负载均匀，两者的权衡是工程落地的主要难点；三是与 PD 分离（Prefill 与 Decode 分离部署）等架构的配合方式。
值得观察的信号包括：主流开源推理框架是否会将缓存感知调度作为默认策略提供，以及云厂商在托管推理服务中如何平衡缓存亲和与负载均衡。随着 Agent 和长上下文应用占比提升，KV 缓存的管理效率对成本的影响会更加显著，这一方向预计仍将持续演进。