AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

Otap

共 1 条相关 AI 资讯
7月21日
09:37
09:37官方账号arXiv cs.LG@Babak Barazandeh, Subhabrata Majumdar, George Michailidis
当前Agent轨迹评估依赖二进制成功标志或精确匹配,无法区分侥幸成功或分析失败原因。Otap将轨迹评估转化为执行图与有效解图之间的最优传输距离,基于不平衡融合Gromov-Wasserstein问题。该伪度量对保持依赖的重新排序具有不变性,对冗余步骤敏感度有限,并能处理缺失或幻觉步骤。在受控扰动和三个公开基准上,Otap在语义指标低于随机水平的场景中仍能有效区分有效与无效轨迹。其准确性在依赖图精确恢复时最高,在从自由文本推断时下降。
论文OtapAgent轨迹规划评估

推荐理由:这篇论文提出了Otap,一个用最优传输来评估Agent轨迹的新方法。它不再只看任务成功与否,而是分析执行结构,还能容忍不同的规划顺序和冗余步骤。
原文
精选全部日报登录