OpenAI分析揭示SWE-Bench Pro编码基准的可靠性问题

OpenAI的最新分析指出了SWE-Bench Pro基准测试中存在的信号噪声问题，影响了对AI模型编码能力的评估准确性。该分析发现SWE-Bench Pro存在评估指标不稳定、模型分数波动等问题。这引发了对该基准可靠性的质疑，可能影响模型比较和性能判断。