Papers

Epoch AI 发布 4 份基准评测审查:1 份通过,3 份存在缺陷

Why we picked it

Epoch AI 把 4 个 AI 基准逐一审查,3 个有缺陷,做评测选型前可以先看他们的结论,他们还在招审稿人。

Epoch AI 发布了 4 份新的基准评测审查报告,其中 1 份被评为 Verified(验证通过),3 份被评为 Flawed(存在缺陷)。另有 4 个基准因信息不足无法给出判定结论。Epoch AI 指出,扩大审查规模的瓶颈在于审稿人数量不足,目前正在公开招募审稿人。这批报告展示了该团队对 AI 基准质量的持续把关工作。

Original · Epoch AI

We are publishing 4 new benchmark reviews: 1 is Verified, and 3 are Flawed. 4 more benchmarks lacked sufficient information to assign a verdict.

Our main bottleneck to reviewing more benchmarks is reviewer capacity. Info on applying to join our team is in the thread! https://t.co/Vx9vSHtRJA