AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：内容优化×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月22日
10:43
10:43arXiv: DeepSeek@Yuyang Wu, Qiyao Xue, Guanxing Lu, Weichen Liu, Zihan Wang, Manling Li, Olexandr Isayev
精选
CLORE 是一种针对大语言模型推理效率的内容级优化框架。它通过外部增强模型对正确的推理轨迹进行编辑，删除重复、不清晰或任务无关的内容，以及答案确定后的多余推理，同时保留最终答案。编辑后的轨迹与原始轨迹构成对比对，通过无参考的 DPO 目标与标准策略梯度训练联合优化。在 DeepSeek-R1-Distill-Qwen-7B 和 Qwen2.5-Math-7B 上的数学推理基准测试中，CLORE 提升了准确率与效率的平衡，并与 GRPO、DAPO 等方法兼容。内容级分析表明，CLORE 能有效减少重复推理、不清晰内容和答案后的探索，为长度级控制提供了互补方向。
论文推理效率内容优化DPO数学推理CLORE
推荐理由：CLORE 解决了推理模型输出冗长、重复的痛点，做推理优化或部署长链模型的团队可以直接参考其内容级编辑方法，比单纯限制长度更精细。
原文