#KV-cache

共 6 条 · 7 天 0 条 · 30 天 1 条

信息流里打上「KV-cache」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月16日

这篇论文用数据说话，帮你搞清楚给大模型加新知识时，是直接塞进去还是改模型参数更好，特别适合做知识问答或需要快速更新信息的应用。

arXiv cs.AI@Nathanaël Carraz Rakotonirina 等 4 人原文

8月19日

论文多源确认精选11:43

DeepSeek团队提出BSR方法，让LLM在极小内存下恢复超大状态，比传统方法高效63倍。

arXiv: DeepSeek@Zixuan Li3 个信源在谈原文

7月2日

行业多源确认精选79°05:48

OpenAI没换硬件，靠软件就把推理成本砍了一半。这对模型成本和用户体验可能都有影响，值得了解。

@koltregaskes@koltregaskes11 个信源在谈原文

6月27日

Manus AI的CEO说KV-cache命中率最关键，他们用深度代理优化缓存，搞AI基建的该看看。

Harrison Chase@hwchase17原文

6月24日

这篇论文提出了 CrossPool，通过分离权重和 KV-cache 池，能大幅降低冷 MoE 模型的推理延迟，比现有系统快 10 倍以上。

arXiv cs.LG@Zhuoren Ye 等 7 人原文

6月2日

模型精选12:55

Step 3.7 Flash 通过原生效率设计解决了 KV-cache 成本痛点，做智能体应用的开发者可以直接用 Fireworks AI 一键部署，值得试试。

官方账号阶跃星辰 Stepfun@Stepfun_AI原文