AITOP

5月12日

19:11

arXiv cs.LG@Yash Akhauri, Mohamed S. Abdelfattah

65

SOL（Self-Optimizing Language Models）提出了一种新方法，让大语言模型在解码时动态调整每个token的计算量。它使用一个轻量级策略网络，基于模型隐藏状态，决定每步的注意力稀疏度、MLP激活剪枝和量化位宽。通过组相对策略优化（GRPO）训练，在固定token序列上采样不同计算调度，并权衡质量与预算。实验表明，相比统一预算分配，SOL在MMLU上可提升高达7.3%，并发现更好的质量-效率帕累托前沿。

论文推理效率动态预算分配强化学习量化/剪枝 LLM推理优化

推荐理由：该研究为推理效率优化提供了新思路，动态预算分配结合强化学习，可能在不牺牲质量的前提下显著降低计算成本。对部署大规模语言模型的企业和研究者有重要参考价值。

19:11

arXiv: OpenAI@Sietse Schelpe

70

本预印本实证分析了检索增强生成管道中字节级块去重的效果，涵盖三种不同模式：干净学术检索（22.2M BeIR段落字节减少0.16%）、构造企业模式（24.03%减少）和多轮对话AI（80.34%减少）。通过跨供应商5评委校准面板评估，使用Gemini 2.5 Flash、Claude Sonnet 4.6、Llama 3.3 70B和GPT-5.1四款API，应用五类别人工噪声去除协议，证明字节级去重引入了零可测量质量回归。所有API在干净和高冗余RAG模式下均通过严格的<5% Wilson 95%上限MAT阈值。该工作表明，无需牺牲评估级模型质量即可实现大量推理计算节省。

论文 RAG 去重/优化推理效率质量评估开源/仓库

推荐理由：该研究为RAG系统提供了一种确定性、无质量折损的优化方法，直接减少了推理计算成本，对实际部署具有明确指导意义。

19:11

arXiv: OpenAI@Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li

60

LEAD提出了一种在线自适应推理压缩方法，解决大推理模型（如OpenAI o1、DeepSeek-R1）在CoT过程中过度冗长的问题。传统强化学习方法使用静态权重和全局长度约束，难以平衡正确性与效率，且无法适应不同问题的推理预算需求。LEAD通过Potential-Scaled Instability动态校准每步的正确-效率权衡，并基于模型自身正确rollouts在线估计每个问题的目标长度，然后应用对称效率奖励——既惩罚过度思考也惩罚过度压缩。在五个数学推理基准上，LEAD取得了最高的准确率和准确-效率得分，同时生成比基础模型更短的输出。

论文推理模型推理效率自适应压缩强化学习 Chain-of-Thought

推荐理由：该方法为推理模型部署中的计算效率问题提供了自适应解决方案，对于实际应用中降低推理成本和延迟具有重要价值，特别是在数学推理等需要长链推理的场景。