Event ·Multi-source

METR 在 Anthropic 的研究印证了"直觉测试"的有效性

Ethan Mollick 引用 METR 在 Anthropic 内部开展的一项研究,认为该研究印证了所谓 vibe-testing(凭直觉快速评估模型)的方法有效性。他提到 Claude Sonnet 3.7 是 2025 年最明显超出预期的模型。Mollick 表示这与自己过去几年使用 Anthropic 模型的体验,以及 X 平台上 AI 社区的普遍共识相符。研究由 METR 完成,结合其此前对模型评估的工作,说明主观体验式测试在捕捉模型质量差异上有一定参考价值。

Current read

METR 在 Anthropic 做的这项研究给 vibe-testing 背了书。如果你平时靠快速上手体验来判断模型好坏,这篇等于给你一个依据,还顺带聊了 Claude Sonnet 3.7 为什么是 2025 年最超预期的模型,做模型选型的人可以看看。

11 sources36° AI heatLast updated 2026/11/12 20:06:01

Evidence

11 sources
Primary sourceEthan Mollick
View source
Related source 1Techsauce
View source
Related source 3kimmonismus
View source
Related source 4@koltregaskes
View source
Related source 6Andrew Curran
View source
Related source 7The Information
View source
Related source 8Bindu Reddy
View source
Related source 9Artificial Analysis
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

METR 在 Anthropic 的研究印证了"直觉测试"的有效性 · 事件专题 | AITOP