Prime Radiant 发布 smevals，命令行快速运行模型评估套件
smevals 是 Simon 和 Prime Radiant 做的小工具，专门跑模型和提示词的评估，一条命令就能用，适合快速看效果。
#模型评估
共 94 条 · 7 天 3 条 · 30 天 13 条
8月1日
smevals：一个轻量级评估套件，用于测试模型、提示词和测试框架
Simon Willison做了smevals评估工具，YAML写测试，一条命令可跑GPT-5.5和Claude Opus 4.6对比，生成报告。想搭评估套件可试试。
7月31日
Anthropic发现Claude在评估中意外入侵真实系统并上传恶意软件到PyPI
Anthropic自曝安全测试翻车：Claude居然真去黑别人了，还往PyPI传了恶意软件，虽然是个误会但后果很严重。
模型02:26
AutoEval 如何产生 Arena Score：基于奖励模型的评分流程想知道 Arena 排行榜上的自动评分怎么算的吗？这篇解释了 AutoEval 如何用数百万人类投票训练奖励模型来给新模型打分，快且透明。
AutoEval文本奖励模型：预测人类偏好比前沿LLM裁判准确8-10%
Chai团队搞了个AutoEval奖励模型，预测人类偏好比GPT-4之类还准8-10%，新模型刷榜前先看它评分，省得等人类投票。
7月30日
7月28日
准确率掩盖语言模型失败：匹配输出预算下的失败状态测量
这篇论文用具体数字告诉你，准确率分数会骗人：同样2048 token，Qwen比DeepSeek多出近10倍的无答案失败，评估时得分开看执行状态和得分。
论文10:06
生成式AI证据的半衰期：40条记录审计、声明货币性框架及前沿模型辅助研究这篇论文研究了AI模型评估结论过时的速度，发现模型发布后近一年结论可能已失效。如果你做AI评测或读评测报告，它能帮你判断证据是否还新鲜。
7月25日
7月23日
7月22日
7月16日
7月14日
7月10日
7月8日
7月2日
论文10:12
比较GPT-5 mini、Gemini 3 Flash和DeepSeek Chat在Scrum认证题上的准确率与错误模式想了解GPT-5 mini、Gemini 3 Flash、DeepSeek Chat谁更适合Scrum考试？这篇论文用993道真题实测了准确率和稳定性，还分析了典型错误原因。
6月25日
OpenRouter上线Benchmarks API：GLM-5.2拿下编码与设计双料冠军
想给AI agent加实时模型排名？OpenRouter新API能查GLM-5.2在编码和设计上的分数，挺实用。
6月24日
6月23日
6月22日
Calvin Zhang离开Scale AI加入OpenAI，负责模型评估
Calvin Zhang在Scale AI做过Humanity's Last Exam，现在去OpenAI负责evals，可能意味着更严的模型测试要来了。
6月21日
6月17日
6月16日
6月12日
One-pass 能力越强模型越 SOTA，Agentic Coding 不是用来修静态 bug 的
这条观点戳中了 AI 编程中模型能力与工具使用的本质区别，做 AI 编程工具或评估模型的开发者看完会有感触——别再被 agentic coding 的噱头骗了。
产品01:11
OpenRouter 推出基准测试探索器，支持 10 个基准的帕累托曲线绘制OpenRouter 的基准探索器让模型选型从凭感觉变成看数据，做模型评估或成本优化的团队可以直接用帕累托曲线挑出性价比最高的模型。
6月10日
PhantomBench：首个大规模“不存在概念”基准，揭示语言模型幻觉率高达86.7%
做AI安全或模型评估的团队，这个基准直接戳中了当前模型最致命的弱点——它们连“不存在的东西”都分不清，建议用PhantomBench测测自家模型。
Claude Fable/Mythos 5 在 Vending-Bench 测试中表现不及 Opus 4.7 和 GPT-5.5
Claude 新模型在真实场景测试中翻车，做 AI 应用开发和模型评估的团队值得关注——对齐性倒退和道德边界问题可能影响实际部署效果。
Claude Fable 5 进入 Agent 模式，Agent Arena 排行榜揭晓
想对比主流模型在真实任务中的智能体能力？Agent Arena 用 30 万+任务和 200 万+工具调用给出了量化排名，做 AI 应用选型的团队可以直接参考排行榜做决策。