HarmBench

general · First seen 2026-08-12 · Last seen 2026-10-22 · 12 mentions

Overview

HarmBench 是一个用于评估大模型安全性的开源基准,系统化衡量模型对各类有害行为请求(从网络攻击到生物滥用)的抵抗力,已成为越狱攻防研究中最常用的测试平台之一。随着对抗攻击手段不断演化,围绕 HarmBench 的研究重心正从单纯“打分”转向攻击泛化性分析与防御方法验证。

HarmBench 相关的近期进展

  • 结构化越狱攻击跨模型通用但不叠加:研究发现结构化越狱攻击具备跨模型迁移能力,但多种攻击组合使用时并不会产生叠加增益,这一结论直接影响在 HarmBench 类基准上解读攻击成功率的方式。
  • WRDO:用加权聚合优化大模型的拒绝方向:通过加权聚合方式优化模型的拒绝方向以强化安全对齐,其防御效果以 HarmBench 上的攻击成功率作为核心验证指标。
  • TACS:大模型越狱后缀优化轨迹感知候选选择:提出轨迹感知的候选选择策略,改进越狱后缀的自动生成效率,是攻方在 HarmBench 等基准上提升自动化攻击效果的代表性工作。
  • Self-Evolving Defense:LLM智能体安全框架:面向智能体场景提出可自我演化的防御框架,延续了以 HarmBench 为代表的标准化评测思路,并扩展到多步代理任务。
  • 当前焦点与观察点

    目前围绕 HarmBench 的讨论集中在两点。其一是基准本身的效度:AI安全基准测试的心理学审计指出,现有安全评测在设计上可能存在系统性偏差,评测结果与真实风险之间的对应关系需要更严格的审视。其二是攻防节奏的失衡——TACS 等自动化攻击工具持续降低越狱成本,而 CLEAR 这类持续适配的防御方案仍在追赶,防御方普遍需要依赖 HarmBench 等基准快速迭代验证。

    另一个值得观察的趋势是评测对象从单轮对话扩展到智能体与多模态场景。随着开放权重模型密集发布,安全评测的覆盖面和可复现性面临更大压力。对使用 HarmBench 的研究者而言,单一基准得分正被多维评测组合取代,如何结合攻击迁移性分析与心理学审计结果来设计更稳健的评测流程,将是下一阶段的关键议题。

    Coverage

    7 on file
    HarmBench · AI 话题观测|AI热报