Primary sourcearXiv cs.AI
View sourceEvent ·Multi-source
机制可解释性研究解释 Web 智能体的幻觉失败:线性探针达 0.80 AUC
一篇 arXiv 论文研究了机制可解释性(MI)工具能否解释 LLM 智能体的决策失败,聚焦 Web 智能体幻觉出不存在的网页操作这一具体场景。研究对象是 Qwen2.5-7B-Instruct 在真实网站上的交互过程。 实验结果显示,基于最后一个 prompt token 训练的线性探针可在生成开始前预测幻觉,AUC 达 0.80;沿探针方向进行 steering 可以纠正 85% 的幻觉,但会破坏 7% 的有效操作。不过这只是部分解释:探针方向对 prompt 格式高度敏感,操作表示方式稍作改动后 steering 效果大幅下降。 论文还指出,电路识别存在困难,因为计算分布在多个组件和位置上,智能体依赖的信息也随样例变化。作者讨论了这些观察如何挑战标准 MI 方法在电路发现和特征识别上的底层假设,并提出了让这些方法适配智能体失败分析的未来方向。
Current read
如果你做过浏览器操作智能体就会懂:它老点不存在的按钮。这篇用 Qwen2.5-7B-Instruct 做了很扎实的机制分析,探针预测 0.80 AUC、steering 纠 85% 幻觉,但格式一变就失效,把可解释性方法的局限讲得很诚实。做智能体评测和可解释性研究的人都该看看。
3 sources38° AI heatLast updated 2026/11/13 18:30:58
Evidence
3 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.