BigCodeBench 是 BigCode 项目推出的大模型代码生成基准,包含上千个调用真实第三方库的实用编程任务,用于更严格地评估大模型解决复杂、贴近工程场景问题的能力。相比早期的 HumanEval 等简单基准,它要求模型组合多个库函数并正确处理输入输出,被认为更能反映真实编程水平。
BigCodeBench 近期相关进展
当前焦点与观察点
围绕 BigCodeBench 的讨论主要集中在几个方面:其一,随着模型在传统基准上得分趋于饱和,包含库调用、多步骤逻辑的复杂基准成为区分模型真实编程能力的重要标尺;其二,评估方式本身在演进,学界正在探索免执行预测、语义熵、语义距离等无需运行测试用例就能估计代码质量与不确定性的方法,以降低大规模评测的成本;其三,提示词表述对得分的影响提醒研究者在对比不同模型成绩时需谨慎,避免将评测噪声误读为能力差异。未来值得关注的方向包括:基准任务的持续扩充与去污染、多语言与真实仓库级任务的覆盖,以及评测结果与实际工程表现的差距如何缩小。