09:43arXiv cs.AI@Moon Ye-Bin, Nam Hyeon-Woo, Baek Seong-Eun, Yejin Yeo, Tae-Hyun OhTRAP基准评估了22个模型(包括前沿闭源和开源模型)在文档中利用私密信息完成任务时的隐私泄露风险。所有模型均显示非平凡泄露,且指令遵循能力与泄露率正相关。现有的提示防御方法在减少泄露的同时显著降低了任务准确性。论文证明基于softmax的模型无法通过软约束防御同时实现高任务成功率和零泄露概率。提出的结构性私密字段隔离方法用哈希键替换私有字段,几乎完全防止泄露且保持任务精度。论文TRAP基准隐私提取智能体防御推荐理由:想看看你的AI模型干活时会不会偷偷泄密?这篇论文做了22个模型的隐私压力测试,还给了个不会牺牲任务性能的防漏方案。原文