AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

智能体轨迹

共 1 条相关 AI 资讯
9月2日
10:12
10:12官方账号arXiv cs.LG@Nabira Rashid, Manolis Kellis
该研究评估了在数学(MathNet-Retrieve; 500查询,117,088项目)和智能体轨迹(ALFWorld-derived; 118查询,336轨迹)两个领域的嵌入检索。数学领域完全失败:生产嵌入模型在最重伪装层的严格Hit@1为0.0%,而正确答案几乎总在前10名。轨迹领域当必须涉及不同物体时,模型达到或接近超几何概率;当必须涉及不同物体和容器时,所有三个嵌入模型表现低于概率。词汇重排序器在数学中表现更差,在轨迹中表现更好,可缩小26-36%的差距。
论文MathNet-RetrieveALFWorld嵌入检索

推荐理由:这篇论文揭示了嵌入检索在表面形式与意义分离时的严重偏差,数学领域完全失败,轨迹领域表现不一。
原文
精选全部日报登录