Primary sourceEpoch AI
View sourceEvent ·Multi-source
Epoch 测试:GPT-6.2 Astra 等 LLM 尚未达到真实工作的人类标准
Epoch AI 在自家基准 Epoch Automation Reports 上测试了 GPT-6.2 Astra 等多款新模型,任务包括制作 Epoch 风格图表和设计基础研究实验等开放式工作,由 Epoch 员工按内部质量标准打分,100% 即员工水准。结果显示所有模型都未达标:Fable 5.2 得分最高,平均 82%;GPT-6.2 Astra 排名第四,平均 65%,尽管它与 Fable 5.2 并列 ECI 最高分 174。在其中一个任务上,Fable 5.2 和 Opus 5.5 达到了合同工水平。这一结果说明,即便在 ECI 等能力指标上登顶的模型,在开放式真实工作场景下与合格人类员工仍有 18%–35% 的差距。
Current read
Epoch 用自家员工的真实工作当测试题,比抽象基准更接地气。结果挺意外:ECI 并列第一的两款模型,实际干活分数差了 17 个百分点。想了解 AI 能不能替代知识工作者的人,值得看这套评分方法。
11 sources67° AI heatLast updated 2026/11/17 21:44:28
Evidence
11 sourcesRelated source 1arXiv cs.LG
View sourceRelated source 2OpenRouter
View sourceRelated source 3Ate-a-Pi
View sourceRelated source 4Artificial Analysis
View sourceRelated source 5kimmonismus
View sourceRelated source 6Andrew Curran
View sourceRelated source 7Aravind Srinivas
View sourceRelated source 8ARC Prize
View sourceRelated source 9TestingCatalog
View sourceRelated source 10Vaibhav Srivastav
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.