12:14
官方账号arXiv cs.LG@Zixiang Xu, Sixian Li, Huaxing Liu, Xiang Wang, Shuai Li, Zirui Song, Xiuying Chen
推荐理由：这篇论文用几何视角解释LLM评判偏见，发现偏见隐藏状态的低维子空间，还能预测模型在未知基准上的失败，挺有意思。
偏见
共 1 条相关 AI 资讯
7月14日
12:14
该论文从机制可解释性角度研究LLM作为评判者的评分偏见，覆盖7种评判模型、7种偏见类型和9个基准。研究发现偏见输入在隐藏状态中沿低维子空间位移，且该子空间在深层网络中更为显著。通过沿该子空间进行因果控制，可在清洁输入上复现偏见过打分，在偏见过输入上恢复基线打分。线性投影到偏见方向特征可预测模型在3个未见基准上的失败，效果远超基于文本的替代方法。