AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:解码优化×
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
6月10日
10:10
10:10arXiv: DeepSeek@Wenhao Liu, Hao Shi, Yunhe Li, Weizhi Fei, Xiangyuan Wang, Mengzhe Ruan, Hanxu Hou, Peisong Wang, Linqi Song, Shuang Qiu
精选
ReasonAlloc 是一种无需训练的框架,针对大语言模型推理中长思维链(CoT)导致的KV缓存快速增长问题,提出分层预算分配方案。它通过离线层间预分配捕捉架构驱动的“推理波”模式,并结合在线头间实时重分配,将资源导向信息丰富的注意力头。在数学推理基准(MATH-500、AIME 2024)上,使用DeepSeek-R1-Distill-Llama-8B等模型测试,ReasonAlloc在低预算(128-512 tokens)下显著优于均匀预算方法(如R-KV、SnapKV)。该框架可即插即用于现有token驱逐策略,且推理开销极小。
论文KV缓存压缩推理模型预算分配解码优化DeepSeek-R1

推荐理由:推理模型的长CoT导致KV缓存爆炸,做推理优化的开发者可以直接用ReasonAlloc替代均匀预算方案,在低预算下获得显著性能提升。
原文
精选全部日报登录