AITOP

ASV

共 2 条相关 AI 资讯
7月8日
11:31
11:31官方一手arXiv: DeepSeek@Andrew Zhang, Chengzhan Li
论文提出 Agent Step Value (ASV) 框架，通过重放黑盒轨迹并用无状态 LLM 评估器打分，量化每一步的价值。在 100 道开放问答任务（使用 PubMed 实时检索和 DeepSeek 对数概率评分）上，ASV 评估了 1,100 次转移，结果显示熵移动为 0.000，平均贝叶斯惊讶为 2.693，表明信念近乎 one-hot 转折。在 128 个 token 的 rationale 条件下，平均黄金边际增益为 -2.335（95% CI [-3.395, -1.272]）；而直接用单 token 评分同一轨迹得到 +4.033。论文通过 100 次转移的组件审计追踪到反转源于短 rationale 对完整状态的覆盖。
论文ASVAgent Step ValueDeepSeek智能体推理模型
推荐理由：这篇论文教你怎么用 ASV 框架来拆解 AI agent 每一步的决策价值，在开放问答任务上实测发现短 rationale 反而有害，做 agent 评估的必看。
原文
7月7日
11:47
11:47官方一手arXiv: DeepSeek@Andrew Zhang, Chengzhan Li
ASV是一个状态转换测量框架，为每个观察到的动作评分，基于状态锚定评估器在固定候选结果上的分布变化。在100个开放问答任务中，使用实时PubMed检索和部分实时的DeepSeek执行器与log-probability评分，评估了1100步和2200个状态。在固定布局理由条件下，平均金标准边际增益为-2.335（轨迹自举95% CI [-3.395, -1.272]），熵值变化为0.000，平均贝叶斯惊喜为2.693。ASV能够定位最终答案分数或纯熵步指标遗漏的建设性和破坏性信念转变。
论文ASV智能体评估状态转换LLM评估器DeepSeek
推荐理由：这篇论文提出了ASV框架，能比传统方法更细粒度地诊断智能体每一步的好坏，特别适合做Agent评估的朋友。
原文