HumanEval 是 OpenAI 于 2021 年发布的 Python 代码生成评测基准，包含 164 道手写编程题，通过单元测试检验模型根据函数签名和文档字符串生成正确代码的能力。它长期是衡量大模型代码能力的事实标准，但近年来随着顶尖模型在其上接近饱和，社区正逐步转向更难的评测集。不过，围绕 HumanEval 的研究仍在持续——它常被用作训练方法验证、蒸馏效果评估和推理策略对比的基础测试床。
HumanEval 相关的近期研究进展
近期多项工作仍以 HumanEval 作为验证场景之一：
当前焦点与观察点
HumanEval 的核心争议在于其饱和与污染问题：多数前沿模型在该基准上的通过率已超过 90%，区分度下降；同时题目长期公开，存在被纳入训练数据的潜在风险。目前社区的应对主要有两个方向：一是采用 LiveCodeBench、SWE-bench 等更新、更接近真实工程的基准；二是让 HumanEval 退居二线，作为快速 sanity check 使用。
值得关注的是，围绕它的研究热点已从"谁分数更高"转向"如何更高效地达到同等能力"—— OPPD、OPD 等蒸馏与量化恢复方法代表了这一趋势。对于关注代码模型进展的读者，HumanEval 分数仍可作参考，但不宜作为模型代码能力的唯一依据，应结合真实仓库级任务的评测结果综合判断。