Bellman Language Models：把 LLM Agent 决策当 MDP 一次性求解

论文提出 Discretize, Then Decide 方法，将 Agent 工作流日志中的对话离散化为状态，估计各动作的概率与成本，再求解马尔可夫决策过程。在 τ²-bench telecom 上，无模型的控制器可解决 79% 任务；开源模型 Qwen3.8-27B 以 BLM 方式运行后成绩从 29% 提升到 96%，模型调用减少 93%。Claude Opus 5.5 本身已解决 96% 任务，作为 BLM 运行时每任务调用与成本约降 98%，还多解决 2 个任务。在 InventoryBench 上，求解后的策略（不调用模型）超过所有已发表方法。但动作内容本身难以预先写定的场景（如解决 SymPy issue），BLM 帮助有限。