#KV-Cache

共 2 条 · 7 天 0 条 · 30 天 0 条

注意力机制 2 NVIDIA 1 推理优化 1 误差证书 1 长上下文 1 随机化 1 驱逐策略 1

信息流里打上「KV-Cache」标签的资讯、产品与论文，按刊登时间排，新的在上。

8月4日

技巧 Agent 与开发者精选04:59

长上下文模型的推理速度在训练前就已定下上限

NVIDIA这篇博文把长上下文模型变慢的根源讲透了，训练前选对4个架构参数，服务成本能差很多。

#NVIDIA #长上下文 #KV-Cache #注意力机制

官方账号NVIDIA AI@NVIDIAAI2 个信源在谈原文

7月24日

随机化设计为KV-Cache驱逐提供可证明误差证书

一篇论文证明了随机化KV-Cache驱逐能提供误差证书，覆盖率达97%。如果你关心推理加速中的精度损失量化，这方法很实用。

#KV-Cache #驱逐策略 #误差证书 #随机化

arXiv cs.AI@Peng Xie原文