偏见修复相关 AI 资讯 · AI 热点

7月15日

10:05

10:05

官方账号arXiv cs.LG@Sigma Jahan

研究者提出ROBIN方法，通过敏感度分析排序注意力头并移除偏见子空间。在四个模型的实验中，ROBIN在所有模型上降低了WinoBias差距，同时保持了语言建模质量，优于整体置零方法。这些初步结果表明头级偏见修复不仅要考虑选择哪些头，还要考虑如何修改。

论文 Transformer ROBIN WinoBias

推荐理由：这篇论文给出了一个白盒方法ROBIN，能精准定位模型中的偏见注意力头并修复，比直接抹掉整个头效果好。