Noam Shazeer感慨:2.5年前实验室还在炫耀GSM8K成绩
Shazeer 发推感慨:2.5 年前大家还拿小学数学题 GSM8K 吹模型,现在早不够看了,两条对比很直观。
Polymath AI 的 Noam Shazeer 发帖回顾,2.5 年前各 AI 实验室还会用小学数学基准 GSM8K 上的成绩来宣传自家前沿 LLM。GSM8K 曾是衡量模型推理能力的标志性基准,如今已被更强的数学与推理评测取代。他表示期待再过 2.5 年模型能力会到什么程度。
Only 2.5 years ago, AI labs would brag about their frontier LLM performance on grade school math benchmarks (GSM8K). I can't wait to see where we'll be in another 2.5 years.