Anthropic 公开安全评测方法：同一模型在 API 与 claude.ai 分数最多差 34 个百分点

Anthropic 在工程研究博客发布安全评测设计指南，提出 10 条建议，涵盖评测设计、运行和报告。核心发现是配置差异会显著改变结果：测试 Claude Fable 5.1 时，API 与 claude.ai 两种配置的多轮恰当回应率最多相差 34 个百分点，系统卡中自杀与自我伤害多轮评测数据显示 API 为 60%（±14%），claude.ai 为 94%（±7%）。 方法论上，Anthropic 认为传统拒绝率测错了东西：在自杀和自我伤害对话里，直接拒绝本身就是失败，因此改为统计“恰当回应率”，标准由领域专家制定，要求表达支持、不讨论具体方法、引导用户寻求危机资源。多轮评测由专家写好模拟用户目标，用另一个 Claude 生成用户发言，被测模型作答后由评分模型打分，任一轮不合格整段不通过。单轮测试覆盖 16 个政策领域、7 种语言，近期模型单轮无害回应率已达 94%–98%，他们给出的样本量下限是复杂多轮评测至少 100 个用例、单轮至少 1000 个。 指南还要求报告中写清模型版本、提示词和评分器，推荐使用英国 AI 安全研究所的 Inspect 框架及基于它的 Petri，在断网沙箱中运行评测。对开发者来说，这意味着不同报告里的安全分数在配置和评分器不一致时不可直接比较。