11:19
官方账号arXiv cs.AI@Weimeng Wang, Ziqiang Wang, Zihang Zhan, Chuanpu Fu, Qi Li, Ke Xu
推荐理由：这篇论文发现LLM的物理危险和文本内容危险是分开的，PRISM探针只需一层就能检测物理危险，误报率只有LLM裁判的一半，值得做安全对齐的人看看。
PRISM
共 1 条相关 AI 资讯
7月17日
11:19
研究显示，大型语言模型（LLM）作为具身智能体规划器时，文本安全的指令在物理世界中可能变得危险。通过隐态方向分析和随机分割零检验，在Qwen2.5-3B/7B/14B/32B、Phi-3.5和SmolLM2上发现内容危险（CD）与物理危险（PD）在LLM表征中可分离。基于此提出的PRISM单层L2正则逻辑回归探针，在SafeAgentBench上达到86.2-87.7%准确率、11.7-13.7%假阳性率，而同等规模LLM裁判的假阳性率为24.7-39.0%。新构建的PhysicalSafetyBench-1K（PSB-1K）包含1000个无直接危害关键词的物理风险对比对，PRISM在此达到99.6%准确率、0.7%假阳性率，Qwen2.5-3B裁判则错误拒绝67.8%的安全任务。实验在SafeText和EARBench上也复现了结果，支持隐态状态探测作为超越文本审核的物理安全表征级方法。