行业

基准指数难衡量 AI 真实质变:ECI 分数涨 5 分不等于能力跃迁

精选理由

一位圈内人吐槽跑分指数没意义,还拿 Opus 4.5 的 SWE 表现举例,聊的是怎么判断 AI 到底进步多快。

一位评论者指出,像 ECI 这类基准指数无法很好地预测质变,例如 Claude Opus 4.5 在 SWE(软件工程)任务上表现出的能力。他举例说,Model X 比 Model X' 高 5 分这种指数差异并不说明问题。他判断,按体感评估的 AI 进步速度会保持平稳,因为问题在变难,AI 也在变强。

原文 · Teortaxes

I don't even know what this notion of speed would refer to. ECI? Model X' is 5 points above Model X? Ok. Indexes don't predict well the qualitative shifts like "Opus 4.5 for SWE". That aside, I think the vibe-assessed "speed" will be steady. Problems are harder; AIs are stronger.