7月31日
12:59
12:59官方账号arXiv cs.AI@Xiangning Lin, Shenzhe Zhu, Shu Yang, Zhenyu Zhang, Haoqian Zhang, Yipeng Zhao, Chengxuan Qian, Tianwei Wang, Ziheng Zhang, Zhenlong Yuan, Dingcheng Wang, Juncheng Wu, Yuan Si, Jiaxin Liu, Baolong Bi, Robert Mahari, Tobin South, Dazza Greenwood, Zexue He, Rishi Bommasani, Sophia Kazinnik, Andreas Haupt, Samuele Marro, Erik Brynjolfsson, Alex Pentland, Jiaxin Pei
AISPA是一个面向用户的系统提示审计框架,从八个维度逐条检查系统提示。研究团队用该框架审计了88款商业AI产品中的3249条指令,发现各产品设计差异悬殊:有的产品平均包含超过60条保护性指令,有的不足5条。尽管98.9%的产品至少有一条保护性指令,但只有24%覆盖全部八个维度;约40%的产品存在至少一条损害用户利益的指令,且保护性与问题指令经常共存。
推荐理由:论文用AISPA框架审计了88款商业AI产品,发现约四成产品里有损害用户利益的指令,做AI应用的朋友可以看看。