论文20:29
Transformer 可省去 Key 和 Value 投影？新论文砍掉 50% KV 缓存做 LLM 推理优化的团队可以直接参考这个设计——砍掉一半 KV 缓存但几乎不损质量，值得在自家模型上试试。
#KV 缓存
共 3 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「KV 缓存」标签的资讯、产品与论文，按刊登时间排，新的在上。
6月9日
5月26日
Together AI 开源 OSCAR：2-bit KV 缓存量化系统，长上下文 LLM 推理提速 3 倍
长上下文 LLM 推理的内存瓶颈终于有了实用解法——OSCAR 在 2-bit 量化下几乎不损失精度，做长文档/多轮对话推理的团队可以直接集成，显著降低硬件成本。
5月20日
Together AI 推理引擎：比 Claude Opus 成本低 76%
做多智能体编码或高并发推理的团队，终于有基准测试对准真实负载了——Together AI 的引擎在成本和速度上都有明显优势，值得跑一下自己的场景试试。
