多跳推理相关 AI 资讯

8月13日

17:49

官方账号arXiv cs.AI@Ankita Rajaram Naik, Anupama Murthi, Benjamin Elder, Siyu Huo, Raavi Gupta, Abhinav Jain, Praveen Venkateswaran, Abdulhamid Adebayo, Danish Contractor

精选

研究人员推出VAKRA基准，包含62个领域的8000多个可执行API，用于测试智能体在工具使用策略约束下的多跳推理。最佳模型在单跳端点任务上准确率只有70.4%，在组合API任务上降至50-51%。当推理深度增加时，模型性能下降超过50%。在策略约束的不可回答查询上，部分模型准确率低至2.4%。错误分析显示，失败主要集中在实体消歧和跨源信息对齐等语言中介推理环节。

论文 VAKRA IBM 智能体

推荐理由：IBM新基准VAKRA，测API和文档多跳推理，最强70.4%，多跳掉一半，暴露AI短板。

原文

8月6日

11:39

官方账号arXiv cs.LG@Purbesh Mitra, Sennur Ulukus

该论文提出 Chained Recursive Language Models（Chained RLM），一种推理时架构，让同一个模型以全新上下文被反复调用。每一轮推理接收原始问题和紧凑摘要，而非完整对话历史，通过黑板和工作区传递中间结果。论文描述了系统模型、交接机制、工件工作区及评估协议，并研究了何时使用新鲜上下文的多阶段计算相比直接回答更准确。在需要抽取、计数、排序和多跳推理的任务中，该方法能减少早期错误传播。

论文 Chained RLM 推理模型长上下文

推荐理由：这篇论文把一次长推理拆成多轮小步骤，每一步都能检查修正，适合做长文档问答的人看看。

原文

6月1日

10:15

官方账号arXiv cs.LG@Felipe Urrutia, Juan José Alegría, Cinthia Sanchez Macias, Jorge Salas, Cristian B. Calderon, Cristobal Rojas

这篇论文通过训练GPT-J在两种结构等价的多跳推理任务（数字任务需位置推理，字母任务需符号推理）上，研究了注意力头的学习动态。作者引入新指标将注意力头分类为位置型或符号型，发现成功学习与纯头（即只表现一种类型）的出现相关。尽管任务结构等价，但数字任务需要位置和符号两种头，而字母任务只需符号头。论文进一步揭示了这些头的计算角色，并给出基于RoPE的几何可解释构造。关键发现是符号机制在长序列上泛化更可靠，而位置机制有更明显的局限性，并通过理论和实验验证了这种分离。

论文注意力机制 RoPE 长度泛化

推荐理由：这篇论文用严谨的实验和理论揭示了位置与符号注意力在长度泛化上的本质差异，做Transformer机制研究或长上下文优化的开发者值得细读，看完会对RoPE的几何解释有更深理解。

原文

5月26日

23:21

berryxia@berryxia

76°

CMU和UMD的研究者发现，大模型在多跳推理任务中表现不佳的根本原因不是内存容量，而是缺乏将上下文转化为可用内部表示的“巩固”过程。他们提出“睡眠”机制：在清空KV缓存前，让模型对当前上下文多次前向传播，将记忆沉淀进fast weights。实验显示，这一方法使多跳推理准确率提升52%，且推理延迟不变。这与当前行业狂加上下文窗口和test-time compute的方向不同，更接近人脑的睡眠记忆巩固机制。

论文推理模型多跳推理睡眠机制

推荐理由：做深度推理项目的开发者终于有了新思路——不用堆算力，而是给模型“离线整理”时间，准确率直接拉升52%，值得一试。

原文

5月17日

23:41

rohanpaul_ai@rohanpaul_ai

精选76°

论文多智能体推理模型斯坦福

推荐理由：这篇论文戳破了多智能体系统“越多越好”的迷思，做AI推理和智能体架构的开发者看完会重新思考设计方向——先试一个强模型，别急着堆智能体。

原文