15:28官方账号arXiv cs.AI@Benjamin Belay该研究探讨语言模型输出能否携带可验证的内部计算证据。在模块化前馈网络和Transformer两种架构上,用算术任务训练模型,使其经过两个离散中间状态。系统在128对匹配测试中全部通过,检测器成功恢复认证内部状态信号。五个前馈模型和三个Transformer模型均复现了因果计算。单独答案实验中,线性探针未能恢复自然学习的中间状态。论文计算溯源可解释性Transformer推荐理由:这篇论文用受控实验证明,模型输出能藏住内部状态的证据,128对测试全过,对理解AI可解释性挺有意思。原文稍后读已读值得跟进有用关注 计算溯源