基准测试 Benchmark
基准测试是用固定题库和统一评分衡量模型能力的标准化测试,如 MMLU(知识)、SWE-bench(软件工程)、AIME(数学竞赛)。
读分数要留意:数据污染(题目泄漏进训练集)、评测口径(pass@1 还是多次采样)、榜单饱和(顶部拥挤后区分度下降)。竞技场式人类盲评(LMArena)与真实任务评测越来越受重视。
相关词条
基准测试是用固定题库和统一评分衡量模型能力的标准化测试,如 MMLU(知识)、SWE-bench(软件工程)、AIME(数学竞赛)。
读分数要留意:数据污染(题目泄漏进训练集)、评测口径(pass@1 还是多次采样)、榜单饱和(顶部拥挤后区分度下降)。竞技场式人类盲评(LMArena)与真实任务评测越来越受重视。