12:19官方账号arXiv cs.AI@Arya Labroo, Mengjie Qian, Kate Knill该研究将概念激活向量(CAV)方法扩展至基于BERT的文本评分器和基于Whisper的多模态语音文本评分器,用于检测L2口语评估中因母语或年龄等无关属性产生的偏差。CAV通过激活空间方向表示概念,并用梯度敏感度区分概念是否被编码及是否影响分数。研究发现概念的可恢复性主要取决于模型表示和架构,而非概念本身。稀疏自编码器(SAE)虽使概念更线性可恢复,但会削弱原始激活空间的敏感度,尤其在低维层。论文Concept Activation VectorsBERTWhisper推荐理由:这篇论文教你怎么用CAV和稀疏自编码器查口语评分模型有没有偏袒某类考生,结果发现模型架构影响很大,别光看概念能不能被提取出来。原文稍后读已读值得跟进有用关注 Concept Activation Vectors