机制可解释性相关 AI 资讯 · AI 热点

7月14日

12:14

12:14

官方账号arXiv cs.LG@Zixiang Xu, Sixian Li, Huaxing Liu, Xiang Wang, Shuai Li, Zirui Song, Xiuying Chen

该论文从机制可解释性角度研究LLM作为评判者的评分偏见，覆盖7种评判模型、7种偏见类型和9个基准。研究发现偏见输入在隐藏状态中沿低维子空间位移，且该子空间在深层网络中更为显著。通过沿该子空间进行因果控制，可在清洁输入上复现偏见过打分，在偏见过输入上恢复基线打分。线性投影到偏见方向特征可预测模型在3个未见基准上的失败，效果远超基于文本的替代方法。

论文 LLM-as-Judge 偏见机制可解释性

推荐理由：这篇论文用几何视角解释LLM评判偏见，发现偏见隐藏状态的低维子空间，还能预测模型在未知基准上的失败，挺有意思。

6月16日

11:11

11:11

官方账号arXiv cs.LG@Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

论文针对LLM电路学习中原始神经元多义性和SAE特征高维度的计算瓶颈，提出基于稀疏线性回归的CircuitLasso方法。在基准数据上，CircuitLasso恢复电路的结构准确性与最先进的干预方法相当，但计算成本大幅降低。它还能高效揭示SAE特征之间的传播关系，展示可解释语义特征如何影响模型预测。在领域泛化任务中，利用CircuitLasso学到的电路洞见，能以更低成本达到可比性能。

论文 CircuitLasso LLM SAE

推荐理由：这篇论文提出了CircuitLasso，能以更低成本达到和现有方法一样好的电路学习效果，还能揭示可解释的语义特征如何传播。