09:47
官方一手arXiv: DeepSeek@ Yonghui, Huang, Lin Ma, Amjed Tahir, Qian Zhang, Liwen Xiao, Lysa Xiao
推荐理由：这篇论文揭示了多轮编程时模型容易忘掉之前写对的东西，甚至四成以上任务会翻车。他们发现一个验证门控策略能显著改善，值得做AI编程工具的人看看。
回归累积
共 1 条相关 AI 资讯
7月3日
09:47
研究发现，在对六个LLM模型（包括DeepSeek-V3、Llama-3.1-8B等）进行26,016次多轮编程测试中，40%至73%的任务在8轮对话中丢失了之前正确的行为。论文构建了542个基于HumanEval+和MBPP+的任务，并扩展为8轮需求演化链。手动分析384个失败案例后，确定了跨轮冲突是主要失效模式。Verification Gate策略（对先前测试进行新代码验证并回滚重试）能将DeepSeek-V3的最终轮质量从75.8%提升至87.9%，Llama-3.1-8B从31.6%提升至47.3%。