19:11
arXiv: DeepSeek@Joanna Szych, Anne Schwerk
推荐理由：该研究为LLM代码生成评估提供了更全面的方法论，强调了开发者反馈的重要性，对模型选择和改进实践具有参考价值。
全部 AI 动态
AI 相关资讯全量信息流
5月12日
19:11
该论文提出了一种树状折叠评估方法，用于评估LLM生成代码的正确性、质量和可用性。研究者基于一个复杂的计算机科学项目构建了正确性基准，并结合代码质量验证和开发者结构化审查。他们用该方法评估了GPT-4.1、DeepSeek-V3-0324和Claude Opus 4三个模型，发现开发者审查能揭示代码生产就绪状态等标准基准无法捕获的洞察。这表明仅靠正确性测试不足以全面评估LLM代码生成能力。
19:11
19:11
arXiv cs.AI@Haozhe Zhang, Kaichen Liu, Miaomiao Chen, Lei Li, Shaojie Yang, Cheng Peng, Hanjie Chen
推荐理由：该基准揭示了现有模型在工业级CAD生成上的显著不足，为模型优化和工业自动化提供了明确的评估标准。
5月11日
22:15
22:15
François Chollet@fchollet
推荐理由：本文提醒开发者，Agentic coding（智能体编程）的输出应作为黑盒模型进行经验评估，这对当前AI辅助编码的工程实践具有指导意义。