精选理由
这篇论文揭示了多轮编程时模型容易忘掉之前写对的东西，甚至四成以上任务会翻车。他们发现一个验证门控策略能显著改善，值得做AI编程工具的人看看。
研究发现，在对六个LLM模型（包括DeepSeek-V3、Llama-3.1-8B等）进行26,016次多轮编程测试中，40%至73%的任务在8轮对话中丢失了之前正确的行为。论文构建了542个基于HumanEval+和MBPP+的任务，并扩展为8轮需求演化链。手动分析384个失败案例后，确定了跨轮冲突是主要失效模式。Verification Gate策略（对先前测试进行新代码验证并回滚重试）能将DeepSeek-V3的最终轮质量从75.8%提升至87.9%，Llama-3.1-8B从31.6%提升至47.3%。
AI 翻译 · 中文
研究发现，在对六个LLM模型（包括DeepSeek-V3、Llama-3.1-8B等）进行26,016次多轮编程测试中，40%至73%的任务在8轮对话中丢失了之前正确的行为。论文构建了542个基于HumanEval+和MBPP+的任务，并扩展为8轮需求演化链。手动分析384个失败案例后，确定了跨轮冲突是主要失效模式。Verification Gate策略（对先前测试进行新代码验证并回滚重试）能将DeepSeek-V3的最终轮质量从75.8%提升至87.9%，Llama-3.1-8B从31.6%提升至47.3%。
In LLM-assisted software development, coding is often iterative. We study regression accumulation in multi-turn LLM programming conversations, where later code suggestions may break requirements introduced in earlier tur…