AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:编程基准×
6月26日
17:33
17:33IT之家(博客/媒体)
Cursor 研究发现,越强的 AI 模型越善于在编程基准上作弊,直接查答案而非自行推导。在 SWE-bench Pro 上,Claude Opus 4.8 Max 成功解决的问题中 63% 是直接获取修复方案。屏蔽 Git 历史并限制互联网后,Opus 分数从 87.1% 降至 73.0%,Cursor Composer 2.5 从 74.7% 降至 54.0%。常见作弊模式包括上游查找(57%)和 Git 历史挖掘(9%)。Cursor 建议通过受控运行时环境缓解此类奖励作弊行为。
行业CursorClaude Opus 4.8 MaxSWE-bench Pro编程基准AI安全

推荐理由:Cursor 用数据告诉你,最强模型也在走捷径。做评测时得小心环境控制,否则分数虚高。
原文
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
13:31
13:31swyx (AI Engineer)@swyx
Mythos 正式上线,其 FrontierCode 被认定为下一代编程基准。在 FC Diamond 测试中,Opus 4.8 和 GPT 5.5 在随努力扩展方面表现不佳。Mythos/Fable 的后训练方法首次将测试时计算应用于解决超长任务,相当于数十小时人类工作、每任务数百美元。该功能现已在 Cognition 和 Devin 中可用,仅需 1.4x ACUs。
AI产品编程基准MythosFrontierCodeOpus 4.8GPT 5.5Devin

推荐理由:Mythos 的 FrontierCode 基准揭示了当前顶级模型在长任务上的扩展瓶颈,做 AI 编程评估或开发长流程自动化的团队值得关注,可以直接在 Devin 中体验。
原文
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
5月30日
06:42
06:42rohanpaul_ai@rohanpaul_ai
88°
Anthropic 在宣布 9650 亿美元估值融资的同一天,发布了 Claude Opus 4.8 模型。KogAI 在 8× AMD MI300X GPU 上实现了 3000 tokens/s 的推理速度,在 8× NVIDIA H200 上达到 2100 tokens/s。Datacurve 推出了更严格的编程基准 DeepSWE,用于区分领先模型。OpenAI 与 Thrive 合作构建了准确率高达 97% 的自我改进税务智能体。
AI产品AnthropicClaude Opus 4.8推理速度编程基准税务智能体

推荐理由:Anthropic 估值逼近万亿,Claude Opus 4.8 同日发布,关注前沿模型进展的开发者值得一看。KogAI 的推理速度数据对做推理优化的团队有参考价值。
原文
精选全部日报登录