LLM推理优化相关 AI 资讯 · AI 热点

7月8日

09:05

09:05

官方一手arXiv: DeepSeek@Yihua Liu

精选

该论文提出Floor-First残差驱动分流工作流，将解码步骤建模为HBM字节、FLOPs、网络字节、网络消息、KV容量五维资源向量，通过求和与最大值计算乐观下界和悲观上界，无需profiler即可判断重叠质量。基于DeepSeek-V3.2 671B MoE/MLA模型在16块NVIDIA H20 GPU上的案例显示，TP16解码受KV容量限制约70个并发8K请求；稀疏注意力可移除KV带宽项但容量墙不变；EP16+DP-attention布局将容量墙提升至约644，但单流延迟比TP布局慢2.4倍。该方法通过壁排序比较部署方案，替代点基准，并支持新注意力或状态空间模块的扩展。

论文 DeepSeek-V3.2 H20 LLM推理优化 MoE 算法效率

推荐理由：不用跑一堆配置，用公式就能算清LLM服务的瓶颈在哪，还拿DeepSeek-V3.2在H20上做了实测，对推理优化的人很有参考价值。

5月12日

19:11

19:11

官方账号arXiv cs.LG@Yash Akhauri, Mohamed S. Abdelfattah

SOL（Self-Optimizing Language Models）提出了一种新方法，让大语言模型在解码时动态调整每个token的计算量。它使用一个轻量级策略网络，基于模型隐藏状态，决定每步的注意力稀疏度、MLP激活剪枝和量化位宽。通过组相对策略优化（GRPO）训练，在固定token序列上采样不同计算调度，并权衡质量与预算。实验表明，相比统一预算分配，SOL在MMLU上可提升高达7.3%，并发现更好的质量-效率帕累托前沿。

论文推理效率动态预算分配强化学习量化/剪枝 LLM推理优化

推荐理由：该研究为推理效率优化提供了新思路，动态预算分配结合强化学习，可能在不牺牲质量的前提下显著降低计算成本。对部署大规模语言模型的企业和研究者有重要参考价值。