Industry

Noam Brown 回顾:GSM8K 曾是两年半前实验室比拼的前沿基准

Why we picked it

Noam Brown 发了条短推,说两年半前大家还在卷 GSM8K 小学数学基准,现在早就没人提了,可读一下感受下节奏。

Noam Brown 在 X 上发帖回顾,2.5 年前 AI 实验室还会用小学数学基准 GSM8K 展示自家前沿 LLM 的成绩。如今 GSM8K 早已饱和,不再是衡量前沿能力的指标。他借此感叹两年半时间里模型能力的跃迁速度。

Original · Noam Brown (OpenAI 推理)

Only 2.5 years ago, AI labs would highlight their frontier LLM performance on grade school math benchmarks (GSM8K). I can't wait to see where we'll be in another 2.5 years.