AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

模型偏见

共 1 条相关 AI 资讯
7月31日
11:33
11:33官方账号arXiv cs.LG@Pere Martra, Eugenio Martínez Cámara, Alfonso Ureña López
Fairness Pruning是一种轻量结构干预方法,用于定位大语言模型中的群体偏见。实验在Llama-3.2系列和Salamandra-2B等最大3B参数模型上进行,结合标准基准和定性生成测试。在Llama-3.2-1B上归零最多40个神经元(不到总MLP宽度的0.031%),推理和通用知识能力保留均值达99.49%。由于BiasScore无符号,候选集混合了促进和抑制刻板印象的神经元,干预导致双向偏见失稳。结果证实群体偏见处理与模型能力运行在可分离的电路上。
论文Llama-3.2Salamandra-2B模型剪枝

推荐理由:这篇论文教你用剪枝定位偏见:最多剪40个神经元,Llama-3.2-1B能力保住99.49%,但偏见不是消失而是换了方向。
原文
精选全部日报登录