#InferScale

看完这篇论文，你就明白怎么让 LLM 在有多层记忆时不再反复重算——InferScale 直接把 KV 缓存存好，做到检索量再大 TTFT 基本不变。