AITOP

5月14日

13:26

arXiv cs.LG@Victor Norgren

精选70

传统 Transformer 推理引擎在流式工作负载中，每次查询都需要 O(n) 的预填充成本，随着上下文增长成本急剧上升。本文提出基于状态会话的数据驱动计算模型，通过持久化 KV 缓存增量更新，将预填充移出关键路径，使查询延迟降至 O(|q|)，与累积上下文大小无关。Flash Queries 机制利用数据到达间的空闲 GPU 周期预评估注册问题并缓存答案，这在无状态引擎中无法实现。多租户连续批处理调度器支持数十个状态会话在单 GPU 上共存，同时保持完整二次自注意力。在流式市场数据基准测试中，参考实现相比 vLLM、SGLang、TensorRT-LLM、llama.cpp 等传统引擎实现最高 5.9 倍加速，且查询延迟不随上下文增长而增加。

论文推理优化流式推理 KV缓存状态会话 Flash Queries

推荐理由：流式推理场景（如实时数据监控、金融交易、对话系统）的开发者终于有了降低延迟的可行方案——把预填充移出关键路径，查询延迟与上下文大小解耦。做高吞吐低延迟推理服务的团队值得关注这个新范式。

5月13日

19:12

arXiv cs.AI@Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

精选65

KV-Fold 是一种无需训练的长上下文推理协议，将键值（KV）缓存视为序列块上的左折叠累加器。模型在处理每个块时，基于累积的缓存进行条件处理，追加新生成的键和值，并将扩展后的缓存传递到下一步，重复这一单步更新过程。该方法在 Llama-3.1-8B 模型上的“大海捞针”基准测试中，在 152 次试验中实现了 100% 的精确匹配检索，覆盖 16K 到 128K 令牌的上下文和最多 511 层的链深度，且仅需单块 40GB GPU 内存。KV-Fold 的递归过程稳定，每步漂移短暂上升后饱和为平坦平台，对数值精度变化不敏感，跨块大小和模型家族表现一致。这项工作表明，冻结的预训练 Transformer 已经支持稳定的 KV 缓存递归形式，为无需架构更改或训练的长上下文推理提供了实用路径。

论文长上下文推理 KV缓存递归无需训练 Transformer

推荐理由：KV-Fold 用简单的左折叠思路解决了长上下文推理的内存和精度痛点，做 LLM 推理优化或长文档处理的团队可以直接在现有模型上尝试，无需额外训练。