AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：IRT框架×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月19日
10:14
10:14arXiv cs.AI@Max Zhang, Ameen Patel, Sang T. Truong, Sanmi Koyejo
精选
该论文发现大型语言模型在非英语语言中安全性能下降，但传统评估指标（如越狱成功率）混淆了多种因素。研究者提出多组项目反应理论（IRT）框架，将安全退化分解为语言无关的鲁棒性、提示固有难度、全局语言处理难度和跨语言安全差距四个因素。通过对61个模型配置在10种语言上的190万条数据评估，发现安全机制主要是单维的，且低资源语言并非总是最脆弱——22个模型在英语中反而更易受攻击。低资源语言产生更多不确定响应，而高跨语言安全差距的提示集中在物理伤害类别（如盗窃和武器）。该框架在预测安全拒绝时达到AUC=0.940，优于简单基线，为更公平的跨语言安全评估和数据集改进提供了工具。
论文安全对齐跨语言IRT框架评估方法大语言模型
推荐理由：这篇论文揭示了多语言安全评估的盲区——低资源语言不一定是安全最薄弱环节，做AI安全对齐的团队值得细看，能帮你避开传统指标误导，精准定位跨语言安全漏洞。
原文