Distill to Detect 相关 AI 资讯 · AI 热点

7月2日

11:01

11:01

官方账号arXiv cs.AI@Shayan Talaei, Abhinav Chinta, Devvrit Khatri, Amin Karbasi, Azalia Mirhoseini, Amin Saberi

76°

预训练语言模型可能被植入隐蔽偏好，仅通过上下文蒸馏传递，信号隐藏在soft logit分布中而文本不可见。Distill to Detect (D2D) 方法将模型与基模型的分布差异蒸馏到KV-cache前缀适配器（cartridge）中，放大偏差信号至可生成文本。实验在多个偏差类型上验证D2D能可靠检测隐蔽偏好。理论框架用Fisher加权投影解释其有效性，为部署模型审计提供实用工具。

论文 LLM Distill to Detect Cartridge AI安全偏见检测

推荐理由：Arxiv新论文发现LLM隐蔽偏好很难查，D2D方法把隐藏偏差放大到文本可见，适合做审计工具。