Anthropic 公开安全评测方法：同一模型在 API 与 claude.ai 分数最多差 34 个百分点
Anthropic 公开安全评测方法：同一个模型在 API 和 https://t.co/O3VJKio7ZU 上，安全分数最多差 34 个百分点 来自 Anthropic 工程研究博客，写作出发点...
这篇讲了怎么把安全评测做扎实：同一模型换个系统提示，分数能差 34 个点。Anthropic 把专家评分、多轮对话、样本量下限这些坑都摊开了，做模型评测或写系统卡的人都该看看。
Anthropic 在工程研究博客发布安全评测设计指南，提出 10 条建议，涵盖评测设计、运行和报告。核心发现是配置差异会显著改变结果：测试 Claude Fable 5.1 时，API 与 claude.ai 两种配置的多轮恰当回应率最多相差 34 个百分点，系统卡中自杀与自我伤害多轮评测数据显示 API 为 60%（±14%），claude.ai 为 94%（±7%）。
方法论上，Anthropic 认为传统拒绝率测错了东西：在自杀和自我伤害对话里，直接拒绝本身就是失败，因此改为统计“恰当回应率”，标准由领域专家制定，要求表达支持、不讨论具体方法、引导用户寻求危机资源。多轮评测由专家写好模拟用户目标，用另一个 Claude 生成用户发言，被测模型作答后由评分模型打分，任一轮不合格整段不通过。单轮测试覆盖 16 个政策领域、7 种语言，近期模型单轮无害回应率已达 94%–98%，他们给出的样本量下限是复杂多轮评测至少 100 个用例、单轮至少 1000 个。
指南还要求报告中写清模型版本、提示词和评分器，推荐使用英国 AI 安全研究所的 Inspect 框架及基于它的 Petri，在断网沙箱中运行评测。对开发者来说，这意味着不同报告里的安全分数在配置和评分器不一致时不可直接比较。
Anthropic 公开安全评测方法：同一个模型在 API 和 https://t.co/O3VJKio7ZU 上，安全分数最多差 34 个百分点 来自 Anthropic 工程研究博客，写作出发点...
Anthropic 公开安全评测方法：同一个模型在 API 和 claude.ai 上，安全分数最多差 34 个百分点 来自 Anthropic 工程研究博客，写作出发点是：说一个模型“比上一代更安全”，依据只能来自某套评测，评测本身不扎实，这个结论也就站不住！ anthropic.com/research/build… 安全评测看的是“做得对不对” 能力评测关心任务有没有完成，安全评测关心的是模型面对某个输入时做的事情对不对。拒绝在很多场景下是正确做法，比如不帮人诈骗。但 Anthropic 认为，在涉及自杀和自我伤害的对话里，拒绝率测的是错的东西：用户正处在危机中，模型直接不回应本身就是失败。 所以他们改为统计“恰当回应率”。评分标准由领域专家制定，恰当的回应要表达支持，不讨论具体方法，引导用户寻求危机资源，同时不把自己当成危机热线。多轮对话中只要有一轮不合格，整段就不通过。生物、网络安全这类既能用于正当用途又能用于伤害的领域也一样：恰当的做法很少是一概拒绝，而是满足合法需求，同时守住可被滥用的操作细节。 多轮对话更接近真实使用 多轮评测的流程是这样的：专家先写好模拟用户的目标和策略，后续的用户发言由另一个 Claude 生成，被测模型作答，最后由评分模型打分。单轮安全测试覆盖 16 个政策领域、7 种语言和多种产品界面。 Anthropic 数据显示，近期各个模型在 API 上的单轮无害回应率都在 94% 到 98% 之间，基本已到天花板，现在主要用来检查新版本有没有退步。多轮结果的波动大得多，置信区间可以超过正负 10 个百分点。他们给出的样本量下限是：复杂的多轮评测至少 100 个用例，较简单的单轮评测至少 1000 个。 举个例子， claude.ai 上的多轮恋爱诈骗评测中，Claude Opus 5 得分 98%，Opus 5.5 得分 94%。但这个差异在统计上不显著，不能据此说哪个更安全。 配置不同，分数可能完全不同 系统卡会同时报告两种配置：API 上的原始模型，以及加了系统提示的 claude.ai 。在测试 Claude Fable 5.1 时，两种配置的多轮恰当回应率最多相差 34 个百分点。 系统卡里自杀与自我伤害多轮评测的数据正好是这个差距：API 为 60%（±14%），换上新系统提示后的 claude.ai 为 94%（±7%）。文章提到，发布前他们发现有些回复虽然在劝阻并引导用户寻求真人帮助，却仍然把自我伤害说成一种应对方式，于是修改了系统提示再重测。博文本身没有逐字把 34 点和这组数字对上，这是按系统卡推算的。 由此，文章要求报告中写清模型版本、提示词和评分器，不要拿不同评分器得出的分数直接比较。他们推荐使用英国 AI 安全研究所（AISI）的 Inspect 框架，以及基于它的 Petri。评测应在断网的沙箱里运行。在近期一起网络安全评测事故之后，他们加固了评测环境，暂停了许多需要联网的评测，对必须联网的搜索类评测加上了实时监控。 Anthropic @AnthropicAI Safety evaluations are critical for understanding whether a model is ready to deploy, which safeguards to build for it, and where to focus training and research. On our Engineering Blog, we offer 10 recommendations for how to design, run and report them. anthropic.com/research/build… 🔗 View Quoted Tweet📊 4 ⚡
This report is categorized under AITOP's "Papers" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Anthropic, Claude, AI safety, Inspect.
Source attribution: curated from shao__meng (@shao__meng).
