Industry

Noam Shazeer感慨:2.5年前实验室还在炫耀GSM8K成绩

Why we picked it

Shazeer 发推感慨:2.5 年前大家还拿小学数学题 GSM8K 吹模型,现在早不够看了,两条对比很直观。

Polymath AI 的 Noam Shazeer 发帖回顾,2.5 年前各 AI 实验室还会用小学数学基准 GSM8K 上的成绩来宣传自家前沿 LLM。GSM8K 曾是衡量模型推理能力的标志性基准,如今已被更强的数学与推理评测取代。他表示期待再过 2.5 年模型能力会到什么程度。

Original · Noam Brown (OpenAI 推理)

Only 2.5 years ago, AI labs would brag about their frontier LLM performance on grade school math benchmarks (GSM8K). I can't wait to see where we'll be in another 2.5 years.