论文揭示 LLM 智能体「价值-策略解耦」：内部算出最优动作却不采用

arXiv 论文《Represented but Not Used: Value-Policy Dissociation in LLM Agents》研究了 Qwen2.5-7B-Instruct、Qwen2.5-32B-Instruct 和 GPT-OSS-20B 三个模型在 Grid 部分可观测环境和 WebShop 模拟购物环境中的序贯决策机制。研究发现候选动作的相对价值可以从中间层隐藏状态中线性解码出来，甚至在策略选择了更差动作的状态上也是如此，作者将这种「内部表示了价值但策略不采用」的差距命名为 value-policy dissociation（价值-策略解耦）。 在干预实验部分，论文对比了沿价值读出方向的直接干预和 Natural Value Transport（NVT）——一种从隐藏状态随动作价值的自然变化中学到的变换。结果表明直接干预效果有限且不一致，而 NVT 能更稳定地影响动作偏好，尤其在较深网络层。论文还构建了一个闭环控制器，用价值读出作为传感器、NVT 作为执行器，观察到任务表现提升。 这一发现说明 LLM 智能体的失败未必源于「没算明白」，而可能是「算对了却不采纳」，为用干预手段直接改进智能体决策提供了机制层面的切入点。