Claude Fable 5.2 距 Simple Bench 人类最高分仅差 0.5%
Claude Fable 5.2 在 Simple Bench 上只比人类最高分低 0.5%,常识推理这块一直是模型的弱项,现在快追平了。如果你在挑模型做需要日常判断的应用,这个数据点可以参考下,对比 GPT 和 Gemini 的同榜成绩更有意思。
Anthropic 的 Claude Fable 5.2 在 Simple Bench 上的成绩距该基准的最高人类分数只差 0.5%。Simple Bench 用于衡量模型在常识推理类题目上与普通人类的差距,此前多数前沿模型仍低于人类上限。此次差距缩小到 0.5%,意味着 Claude Fable 5.2 已接近该基准上人类表现的天花板。
Simple Bench 的题目设计偏重日常常识与直觉判断,而非单纯的数学或代码能力,因此这一成绩常被用来讨论模型在“常识盲区”上的短板是否正在收窄。Claude Fable 5.2 距人类最高分仅差 0.5%,表明其在常识推理类题目上的错误率已大幅下降。
不过 Simple Bench 只是单一基准,人类最高分代表的是基准覆盖范围内的上限,模型在其他维度(长上下文、工具调用、代码等)的表现仍需结合更多评测判断。对开发者而言,这一数据可作为评估 Claude 系列模型常识推理能力的参考点之一。
Claude Fable 5.2 is only half a % away from equaling Simple Bench's highest human score! https://t.co/sjqwIyMrH4 https://t.co/l4YHpk1DHD
This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Claude Fable 5.2, Simple Bench, Anthropic, 推理模型.
Source attribution: curated from @koltregaskes (@koltregaskes).