Event ·Multi-source

TensorTonic 从第一性原理讲清评测:同一模型换评分和框架,排行榜结论可能翻转

TensorTonic 发布长文,基于 Anthropic、OpenAI 和 Google DeepMind 的公开材料,讨论模型评测方法论的核心问题:排行榜评的其实是模型加配套(工具、提示词、循环)的整体,而非模型本身。文中引用 CORE-Bench 的数据:同一套 Claude Opus 4.5 起初只得 42%,换到 Claude Code 框架后到约 78%,再修正过严评分、含糊说明和无法复现的题目后达到 95%。 文章解释了 pass@k 与 pass^k 的区别:前者是 k 次至少成功一次,适合可迭代修补的编程场景;后者是 k 次全部成功,适合直接面向用户的场景。单次成功率 75% 时跑 3 次,两者分别约 98% 和 42%。排行榜还常省略误差区间:500 道题、80% 得分的 95% 区间约在 76.5% 到 83.5%,与 82% 的另一模型无法区分。 OpenAI 在 GPT-5 系统卡中给出 SimpleQA 的对比:旧 o4-mini 弃答仅 1%,答对 24%、答错 75%;gpt-5-thinking-mini 弃答 52%,答对 22%、答错 26%。只看准确率旧模型略高,错误量却是后者的三倍。作者引用 Anthropic 今年 1 月的观点:完整记录是过程,结果只是结束后的真实状态,两者经常对不上,订票助手说已订好但数据库里没有订单,只看最后一句话会放过说谎的系统。

Current read

做评测或看排行榜的人应该收藏这篇。同一套 Claude Opus 4.5 换个运行框架加修正评分,CORE-Bench 从 42% 涨到 95%,说明很多榜单比的是配套不是模型。还讲清了 pass@k、误差区间和弃答率怎么读,GPT-5 系统卡的 SimpleQA 例子很直观。

11 sources38° AI heatLast updated 2026/11/16 04:29:07

Evidence

11 sources
Related source 1lmarena.ai
View source
Related source 2掘金本周最热
View source
Related source 3Lenny Rachitsky
View source
Related source 4TestingCatalog
View source
Related source 7Andrew Curran
View source
Related source 9Tibor Blaho
View source
Related source 10阿里通义 Qwen
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.