ProgramBench 相关 AI 资讯 · AI 热点

7月30日

11:29

11:29

官方账号arXiv cs.LG@Yihao Chen, Shi Chang, Khaled Chawa, Feng Lin, Boyuan Chen, Shaowei Wang, Ahmed E. Hassan

论文提出 MindForge 自动流程，将开源命令行程序转为仅暴露编译后可执行文件和文档的源码无关环境。用 GLM-5.2 作为教师智能体生成高质量程序合成轨迹，微调 Qwen3.6-27B。微调后模型在 ProgramBench 上平均测试通过率从 37.98% 提升至 49.51%，并在 7 个未见基准上均获提升，如在 RepoZero-C2Rust 上绝对增益 31.00 分、SWE-bench Verified 上 5.04 分。

论文 MindForge ProgramBench GLM-5.2

推荐理由：MindForge 教小模型从零写完整软件，不用源码只用可执行文件和文档就把 Qwen3.6-27B 在 ProgramBench 上提升了 11.53%，跟大模型差不多。

6月4日

08:15

08:15

Stanford AI Lab@StanfordAILab

精选

斯坦福 AI 实验室发布了一段与 John Yang (@jyangballin) 的对话，讨论 ProgramBench 及其在 AI 编程基准测试发展中的位置。Yang 回顾了 AI 编程领域已取得的进展，并展望了未来可能的方向。该对话适合对 AI 编程能力评估感兴趣的开发者和研究者。

行业 AI编程基准测试 ProgramBench

推荐理由：想了解 AI 编程基准测试的来龙去脉和未来趋势？John Yang 的分享能帮你理清 ProgramBench 在其中的位置，做 AI 评估或编程工具的团队值得一听。