10:21
官方一手arXiv: DeepSeek@Nhat Minh Le, Yisen Xu, Zhijie Wang, Tse-Hsun, Chen
推荐理由：这篇论文把EffiBench、EvalPerf等流行代码性能基准的漏洞全翻出来了——1538个任务里只有6%能真正测出差异。他们搞了个多智能体框架自动生成更刁钻的测试，效果直接翻四倍。
DeepSeek-v3.1
共 1 条相关 AI 资讯
7月9日
10:21
这篇论文重新评估了EffiBench、Enamel、EvalPerf和Mercury四个代码性能基准，对1,538个任务进行30次运行统计检验。结果显示，基准提供的优化实现中仅有6.11%明显快于规范解法。在308个非显著的任务中，有209个存在潜在的性能优化但未被原始测试暴露。为此，作者提出一个LLM多智能体框架（使用DeepSeek-v3.1和GPT-4o）生成性能导向测试，在1,345个原始测试无显著差异的任务中，分别有24.01%和25.43%检测出显著差异。