AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：量化/剪枝×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月12日
19:11
19:11arXiv cs.LG@Yash Akhauri, Mohamed S. Abdelfattah
SOL（Self-Optimizing Language Models）提出了一种新方法，让大语言模型在解码时动态调整每个token的计算量。它使用一个轻量级策略网络，基于模型隐藏状态，决定每步的注意力稀疏度、MLP激活剪枝和量化位宽。通过组相对策略优化（GRPO）训练，在固定token序列上采样不同计算调度，并权衡质量与预算。实验表明，相比统一预算分配，SOL在MMLU上可提升高达7.3%，并发现更好的质量-效率帕累托前沿。
论文推理效率动态预算分配强化学习量化/剪枝LLM推理优化
推荐理由：该研究为推理效率优化提供了新思路，动态预算分配结合强化学习，可能在不牺牲质量的前提下显著降低计算成本。对部署大规模语言模型的企业和研究者有重要参考价值。
原文