LLM 推理相关 AI 资讯 · AI 热点

5月27日

15:30

15:30

官方一手marktechpost@Michal Sutter

72°

EAGLE 团队联合 vLLM 和 TorchSpec 发布了 EAGLE 3.1，旨在解决生产环境中推测解码的不稳定性。该算法通过修复注意力漂移问题，提升了 LLM 推理的效率和可靠性。EAGLE 3.1 针对大规模部署场景优化，减少了推理延迟和资源消耗。这一更新对于需要高性能 LLM 推理的团队具有重要意义。

AI模型 EAGLE 3.1 推测解码注意力漂移 LLM 推理 vLLM

推荐理由：EAGLE 3.1 解决了生产环境中推测解码的稳定性痛点，做 LLM 推理优化的团队可以直接用上，减少注意力漂移带来的性能损失。

5月26日

12:37

12:37

官方一手arXiv: DeepSeek@Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

精选72°

本文首次揭示了大型语言模型（LLM）推理过程中置信度的动态模式：正确推理轨迹的置信度随时间提升（正增益），而错误轨迹则衰减。基于此发现，作者提出置信度动态增益（CDG）投票方法，在多个开源模型（DeepSeek-R1、gpt-oss、Gemma-3、Qwen-QwQ）和基准测试（AIME24/25、HMMT25、BRUMO25）上显著提升了推理答案选择的准确性。该方法为推理优化提供了新的判别信号，并附有理论解释。代码已开源。

论文推理模型置信度动态投票优化开源/仓库 LLM 推理

推荐理由：做 LLM 推理优化的开发者终于有了一个基于置信度动态的简单有效方法——CDG 投票在多个模型上都能提升准确率，值得直接试。