精选理由
OpenAI发文说SWE-Bench Pro这个编码基准有噪声问题，做评估的得留个心眼。
OpenAI的最新分析指出了SWE-Bench Pro基准测试中存在的信号噪声问题，影响了对AI模型编码能力的评估准确性。该分析发现SWE-Bench Pro存在评估指标不稳定、模型分数波动等问题。这引发了对该基准可靠性的质疑，可能影响模型比较和性能判断。
AI 翻译 · 中文
OpenAI的最新分析指出了SWE-Bench Pro基准测试中存在的信号噪声问题，影响了对AI模型编码能力的评估准确性。该分析发现SWE-Bench Pro存在评估指标不稳定、模型分数波动等问题。这引发了对该基准可靠性的质疑，可能影响模型比较和性能判断。
A new analysis from OpenAI reveals issues in SWE-Bench Pro, a popular coding benchmark, raising concerns about reliability and accuracy in evaluating AI models.