6月12日
04:11
04:11Richard Socher@RichardSocher
Andrej Karpathy 发布了一个新的 AI 基准测试,旨在评估从基础 Transformer 模型到高级 AI 系统的演进过程。该测试需要 AI 花费相当长的时间才能达到 Karpathy 的版本水平。这一基准测试可能用于衡量 AI 系统的复杂性和进步程度,对研究者和开发者具有重要参考价值。
推荐理由:Karpathy 的基准测试为 AI 开发者提供了一个衡量模型进化难度的新工具,做模型训练和评估的团队值得关注这个测试,看看自己的模型需要多久才能达到高级水平。
6月9日
08:46
08:46Gary Marcus@GaryMarcus
83°
Gary Marcus 发推指出 METR 的编码基准已饱和,但 Cognition 随即推出更难的 FrontierCode 评测,最高分仅 13.4%。该评测由顶级开源维护者花费 40+ 小时设计,首次衡量代码是否可合并维护,而非仅功能正确。这揭示了当前模型在编写可维护代码方面的严重不足,为 AI 编程能力评估设立了新标准。
事件专题

推荐理由:做 AI 编程评估或关注模型实际能力的开发者,这个新基准直接戳中了当前模型的软肋——代码能跑但不可维护,值得看看你的模型能拿几分。
5月22日
02:27
02:27Ethan Mollick@emollick
一项研究显示,GPT-5.2 在同行评审中达到专家水平。45 位科学家花费 469 小时,对 82 篇论文的人类和 AI 评审进行了评估。结果发现,当前 AI 评审者甚至能与 Nature 官方顶级评审员竞争,尽管仍存在弱点。这表明 AI 在学术评审领域有巨大潜力,可能改变科研出版流程。

推荐理由:科研人员和学术编辑终于有了高效的评审助手——GPT-5.2 的评审质量已接近 Nature 顶级评审员,做论文审稿或投稿的团队值得关注这项进展。