事件专题 · 多源确认

FrontierCode 基准测试:Claude Opus 4.8 仅 13.4%,AI 代码离可合并还很远

Cognition 推出 FrontierCode 编码基准测试,评估 AI 生成的代码是否达到人类维护者愿意合并的质量,而不仅仅是能否通过测试。该基准包含 150 个任务,由 20 多位开源维护者设计,每个任务耗时超 40 小时。结果显示,最强模型 Claude Opus 4.8 在最高难度 Diamond 子集上仅得 13.4%,GPT-5.5 得 6.3%,Gemini 3.1 Pro 得 4.7%。评分系统引入“阻塞项”机制,任何导致无法合并的问题(如行为错误、不安全改动)直接判 0 分,通过后才按可读性、类型安全等软质量项加权。这揭示了当前 AI 编程助手在代码设计、约束和项目风格适配上的严重不足。

当前结论

FrontierCode 把 AI 编程评测从「能跑就行」升级到「能合并才算数」,做代码质量评估或 AI 编程工具的团队值得关注——它暴露了当前模型在真实代码审查中的致命短板。

4 个信源72° AI 热度最后更新 2026/6/9 12:32:18

证据链

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。

查看资讯详情