HarmBench 是一个用于评估大模型安全性的开源基准,系统化衡量模型对各类有害行为请求(从网络攻击到生物滥用)的抵抗力,已成为越狱攻防研究中最常用的测试平台之一。随着对抗攻击手段不断演化,围绕 HarmBench 的研究重心正从单纯“打分”转向攻击泛化性分析与防御方法验证。
HarmBench 相关的近期进展
当前焦点与观察点
目前围绕 HarmBench 的讨论集中在两点。其一是基准本身的效度:AI安全基准测试的心理学审计指出,现有安全评测在设计上可能存在系统性偏差,评测结果与真实风险之间的对应关系需要更严格的审视。其二是攻防节奏的失衡——TACS 等自动化攻击工具持续降低越狱成本,而 CLEAR 这类持续适配的防御方案仍在追赶,防御方普遍需要依赖 HarmBench 等基准快速迭代验证。
另一个值得观察的趋势是评测对象从单轮对话扩展到智能体与多模态场景。随着开放权重模型密集发布,安全评测的覆盖面和可复现性面临更大压力。对使用 HarmBench 的研究者而言,单一基准得分正被多维评测组合取代,如何结合攻击迁移性分析与心理学审计结果来设计更稳健的评测流程,将是下一阶段的关键议题。