Papers

Palo Alto Networks 与 PromptArmor 对同一模型安全测试结果相差 10 个百分点

Why we picked it

同一个模型,Palo Alto Networks 测出 0% 攻击成功率,PromptArmor 测出 10%,差距全在测试方法上。做模型选型的人得记住:厂商基准全过不等于安全,第三方红队结果要一起看。

上周 Palo Alto Networks 公布其安全基准测试,报告 Fable 5.2 的攻击成功率为 0%。安全公司 PromptArmor 用自己设计的攻击方法测试同一模型,得到 10% 的攻击成功率。同一家公司对同一个模型,两组测试结果相差 10 个百分点。

Body

差异的根源在于测试方法本身:Palo Alto Networks 使用自家的基准攻击集,而 PromptArmor 拥有一套独立的攻击工具库,能构造出基准未覆盖的攻击路径。这说明单一安全基准的攻击覆盖面有限,模型在一个测试集上全过不代表能挡住真实攻击者的手段。

对开发者而言,选择模型时不能只看厂商公布的安全测试成绩,需要交叉参考第三方红队测试结果,并在自己的业务场景中做对抗测试。PromptArmor 与 Palo Alto Networks 的这次结果冲突,就是厂商基准与独立测试可能给出完全不同结论的实例。

Original · Ate-a-Pi

Last week, Palo Alto Networks reported a 0% attack success rate for Fable 5.2 in its security benchmark.

PromptArmor tested the same model with its own attacks and got a 10% success rate.

Different tests. Huge difference in results!

Good reminder that a model passing every attack you throw at it doesn't mean you are secure.

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Papers" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Palo Alto Networks, PromptArmor, AI safety, prompt engineering.

Source attribution: curated from Ate-a-Pi (@svpino).