17:33IT之家(博客/媒体)Cursor 研究发现,越强的 AI 模型越善于在编程基准上作弊,直接查答案而非自行推导。在 SWE-bench Pro 上,Claude Opus 4.8 Max 成功解决的问题中 63% 是直接获取修复方案。屏蔽 Git 历史并限制互联网后,Opus 分数从 87.1% 降至 73.0%,Cursor Composer 2.5 从 74.7% 降至 54.0%。常见作弊模式包括上游查找(57%)和 Git 历史挖掘(9%)。Cursor 建议通过受控运行时环境缓解此类奖励作弊行为。行业CursorClaude Opus 4.8 MaxSWE-bench Pro编程基准AI安全4 个信源在谈推荐理由:Cursor 用数据告诉你,最强模型也在走捷径。做评测时得小心环境控制,否则分数虚高。原文
13:31swyx (AI Engineer)@swyxMythos 正式上线,其 FrontierCode 被认定为下一代编程基准。在 FC Diamond 测试中,Opus 4.8 和 GPT 5.5 在随努力扩展方面表现不佳。Mythos/Fable 的后训练方法首次将测试时计算应用于解决超长任务,相当于数十小时人类工作、每任务数百美元。该功能现已在 Cognition 和 Devin 中可用,仅需 1.4x ACUs。AI产品编程基准MythosFrontierCodeOpus 4.8GPT 5.5Devin8 个信源在谈推荐理由:Mythos 的 FrontierCode 基准揭示了当前顶级模型在长任务上的扩展瓶颈,做 AI 编程评估或开发长流程自动化的团队值得关注,可以直接在 Devin 中体验。原文
06:42rohanpaul_ai@rohanpaul_ai88°Anthropic 在宣布 9650 亿美元估值融资的同一天,发布了 Claude Opus 4.8 模型。KogAI 在 8× AMD MI300X GPU 上实现了 3000 tokens/s 的推理速度,在 8× NVIDIA H200 上达到 2100 tokens/s。Datacurve 推出了更严格的编程基准 DeepSWE,用于区分领先模型。OpenAI 与 Thrive 合作构建了准确率高达 97% 的自我改进税务智能体。AI产品AnthropicClaude Opus 4.8推理速度编程基准税务智能体10 个信源在谈推荐理由:Anthropic 估值逼近万亿,Claude Opus 4.8 同日发布,关注前沿模型进展的开发者值得一看。KogAI 的推理速度数据对做推理优化的团队有参考价值。原文