模型官方一手72°15:30EAGLE 3.1 发布:修复 LLM 推理中的注意力漂移问题EAGLE 3.1 解决了生产环境中推测解码的稳定性痛点,做 LLM 推理优化的团队可以直接用上,减少注意力漂移带来的性能损失。#EAGLE 3.1#推测解码#注意力漂移#LLM 推理官方一手marktechpost@Michal Sutter原文稍后读已读值得跟进有用关注 EAGLE 3.1
论文精选72°12:37置信度动态优化推理:CDG 投票提升 LLM 推理准确率做 LLM 推理优化的开发者终于有了一个基于置信度动态的简单有效方法——CDG 投票在多个模型上都能提升准确率,值得直接试。#推理模型#置信度动态#投票优化#开源/仓库aarXiv: DeepSeek@Yu Wang 等 6 人原文稍后读已读值得跟进有用关注 推理模型