精选理由
AI 安全护栏评测标准滞后，做模型部署和安全审核的团队需要关注这个评测缺口，建议点开了解当前护栏模型的真实表现。
随着用户和企业赋予 AI 模型和智能体更多自主权，筛选其输入输出的护栏变得至关重要。然而，现有的护栏评测基准未能跟上模型智能的发展速度。与 NVIDIA 合作，该团队在三个开放数据集上独立评测了护栏与审核模型，衡量了检测质量、延迟以及捕捉不安全内容与过度拒绝安全内容之间的权衡。结果显示，没有模型能全面胜出，且缺乏统一的评判标准。这被视为一个测量问题的早期步骤，随着模型承担更多实际工作，该问题将愈发重要。
AI 翻译 · 中文
随着用户和企业赋予 AI 模型和智能体更多自主权，筛选其输入输出的护栏变得至关重要。然而，现有的护栏评测基准未能跟上模型智能的发展速度。与 NVIDIA 合作，该团队在三个开放数据集上独立评测了护栏与审核模型，衡量了检测质量、延迟以及捕捉不安全内容与过度拒绝安全内容之间的权衡。结果显示，没有模型能全面胜出，且缺乏统一的评判标准。这被视为一个测量问题的早期步骤，随着模型承担更多实际工作，该问题将愈发重要。
Users and enterprises are handing AI models and agents more autonomy, so the guardrails that screen their inputs and outputs matter more than ever. However, the benchmarks for evaluating those guardrails haven’t kept pac…