精选理由
这篇论文把EffiBench、EvalPerf等流行代码性能基准的漏洞全翻出来了——1538个任务里只有6%能真正测出差异。他们搞了个多智能体框架自动生成更刁钻的测试，效果直接翻四倍。
这篇论文重新评估了EffiBench、Enamel、EvalPerf和Mercury四个代码性能基准，对1,538个任务进行30次运行统计检验。结果显示，基准提供的优化实现中仅有6.11%明显快于规范解法。在308个非显著的任务中，有209个存在潜在的性能优化但未被原始测试暴露。为此，作者提出一个LLM多智能体框架（使用DeepSeek-v3.1和GPT-4o）生成性能导向测试，在1,345个原始测试无显著差异的任务中，分别有24.01%和25.43%检测出显著差异。
AI 翻译 · 中文
这篇论文重新评估了EffiBench、Enamel、EvalPerf和Mercury四个代码性能基准，对1,538个任务进行30次运行统计检验。结果显示，基准提供的优化实现中仅有6.11%明显快于规范解法。在308个非显著的任务中，有209个存在潜在的性能优化但未被原始测试暴露。为此，作者提出一个LLM多智能体框架（使用DeepSeek-v3.1和GPT-4o）生成性能导向测试，在1,345个原始测试无显著差异的任务中，分别有24.01%和25.43%检测出显著差异。
Many function-level performance benchmarks have been proposed to evaluate whether large language models (LLMs) can generate efficient programs. However, results on these benchmarks often show that LLM-generated implement…