METR 发布研究更新:AI 研发相关能力快速提升且更难测量
METR 就是那个用"模型能干多久任务"火出圈的评测团队。他们现在发现这个尺子量不住前沿模型的研发能力了,正在换新的测量方法。做模型选型、跑基准的工程团队应该看看。
评测机构 METR 发布研究更新,指出与 AI 研发(R&D)直接相关的模型能力正在快速提升,且越来越难以测量。此前 METR 以"任务时间跨度"(time horizon)指标闻名,用来衡量模型能独立完成多长的任务,但该团队认为这一框架已不足以捕捉新能力。
这次更新聚焦于模型在真实 AI 研发场景中的表现,例如完成任务所需的时间跨度和涉及的复杂度,METR 表示正在构建超越既有 time horizon 任务的评测方式,以更准确追踪前沿模型的研发能力边界。
METR 的任务时间跨度评测此前被广泛引用为衡量模型自主性的重要指标,2024 年前后前沿模型的可执行任务时长呈指数增长趋势。若研发相关能力超出该框架的测量范围,意味着现有基准对模型真实能力的低估可能扩大,这对依赖基准做选型的开发者和企业是重要信号。
We've been working on understanding model capabilities beyond what our prior time horizon tasks could capture.
Today we’re sharing a research update. We find that AI R&D-relevant capabilities are improving rapidly and are getting harder to measure. https://t.co/Z1iXyIjERy
This report is categorized under AITOP's "Papers" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include METR, time horizon, model evaluation, AI safety.
Source attribution: curated from METR (@METR_Evals).