编码基准相关 AI 资讯 · AI 热点

7月9日

04:11

04:11官方一手OpenAI Blog（博客/媒体）

OpenAI的最新分析指出了SWE-Bench Pro基准测试中存在的信号噪声问题，影响了对AI模型编码能力的评估准确性。该分析发现SWE-Bench Pro存在评估指标不稳定、模型分数波动等问题。这引发了对该基准可靠性的质疑，可能影响模型比较和性能判断。

行业 OpenAI SWE-Bench Pro 编码基准评估可靠性

推荐理由：OpenAI发文说SWE-Bench Pro这个编码基准有噪声问题，做评估的得留个心眼。

03:16

03:16

官方账号Decoder@Matthias Bastian

精选

xAI发布Grok 4.5，模型基于数万块Nvidia GB300 GPU训练。在编码基准上，Grok 4.5落后于Fable 5和GPT-5.5，但相比Opus 4.8，token消耗减少4.2倍。Grok 4.5定价每百万输入token仅2美元，远低于竞品。欧盟市场预计7月中旬可用。

AI模型 Grok 4.5 xAI Fable 5 GPT-5.5 编码基准

推荐理由：Grok 4.5每百万token才2美元，编码虽不如Fable 5但便宜到可以忽略差距，性价比碾压。

6月28日

00:49

00:49

Geek@geekbb

73°

DeepSeek 在 Pro Max 模式下于多个编码/工程基准取得领先成绩：LiveCodeBench 93.5%、Codeforces Rating 3206、SWE Verified 80.6%，超越 GPT-5.4、Gemini 3.1 Pro、Claude Opus 4.6 等闭源模型。这些结果来自 X 用户 @geekbb 的推文，并关联到 DeepSeek 的 Hugging Face 仓库。目前该模型尚未开放本地部署，引发社区期待。

AI模型 DeepSeek Pro Max 编码基准开源模型

推荐理由：DeepSeek 拿 Pro Max 模式在 LiveCodeBench 等三大编码基准上直接碾压 GPT-5.4 和 Claude Opus 4.6，分数拉满，但还没开放下载，先来围观一下。

6月17日

04:01

04:01

elvis@omarsar0

GLM 5.2 在 FrontierSWE 基准上排名第 3，得分仅次于 Fable 5 和 Opus 4.8，并超越 GPT-5.5。这是首个缩小 Anthropic/OpenAI 与其他提供商之间差距的模型，同时也是目前最强的开源权重模型。该成绩展示了开源模型在编码任务上的竞争力。

AI模型 GLM 5.2 FrontierSWE GPT-5.5 开源模型编码基准

推荐理由：GLM 5.2 在编码基准上干掉了 GPT-5.5，开源里最强，值得关注。

6月9日

08:46

08:46

Gary Marcus@GaryMarcus

83°

Gary Marcus 发推指出 METR 的编码基准已饱和，但 Cognition 随即推出更难的 FrontierCode 评测，最高分仅 13.4%。该评测由顶级开源维护者花费 40+ 小时设计，首次衡量代码是否可合并维护，而非仅功能正确。这揭示了当前模型在编写可维护代码方面的严重不足，为 AI 编程能力评估设立了新标准。

AI模型编码基准 FrontierCode Claude Opus 4.8 代码可维护性 AI 评估

推荐理由：做 AI 编程评估或关注模型实际能力的开发者，这个新基准直接戳中了当前模型的软肋——代码能跑但不可维护，值得看看你的模型能拿几分。