AITOP

长上下文推理

共 5 条相关 AI 资讯
7月3日
11:52
11:52官方账号arXiv cs.AI@Yanjun Zhao, Ruizhong Qiu, Tianxin Wei, Yuanchen Bei, Zhining Liu, Lingjie Chen, Ismini Lourentzou, Hanghang Tong, Jingrui He
ReContext是一种无需训练的长上下文推理方法，通过模型内部相关性信号构建证据池并在生成前重放。该方法在8个长上下文数据集上测试，上下文长度达128K。实验表明，ReContext在Qwen3-4B、Qwen3-8B和Llama3-8B三个模型上均提升了证据利用率，平均排名最优。
AI模型ReContextQwen3Llama3长上下文推理推理模型
推荐理由：ReContext不用训练就能让模型用上长文里的关键信息，Qwen3和Llama3上都有效，适合处理超长文档推理。
原文
6月12日
10:41
10:41官方一手arXiv: Anthropic@Elias Lumer, Sahil Sen, Kevin Paul, Vamse Kumar Subbiah
精选
本文提出 Recursive Agent Harness (RAH) 概念，将递归从模型调用扩展到完整智能体框架，包含文件系统、代码执行和规划能力。在长上下文推理任务上，RAH 在 GPT-5 骨干上比 Codex 基线提升近 10 个百分点（71.75% → 81.36%），使用 Claude Sonnet 4.5 时达到 89.77%。该方法通过父智能体生成可执行脚本并行启动子智能体，结合结构化函数调用处理细粒度任务，为生产级编码智能体提供了新范式。
论文递归智能体长上下文推理智能体框架编码智能体GPT-5
推荐理由：RAH 解决了长上下文推理中智能体扩展性的核心瓶颈，做复杂编码任务或智能体系统的开发者可以直接参考其设计思路，效果提升显著。
原文
6月9日
11:03
11:03官方账号arXiv cs.AI@Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov
精选
长上下文语言模型推理受限于内存，KV缓存随上下文长度增长。现有压缩方法要么降低模型质量，要么需要大量计算。本文提出Latent Context Language Models (LCLMs)，一种编码器-解码器压缩器，通过架构搜索和预训练350B+ tokens，实现1:4、1:8、1:16压缩比。LCLMs在通用任务性能、压缩速度和峰值内存使用上均优于现有方法，并可作为长时智能体的高效骨干，支持自适应扩展相关片段。
论文上下文压缩KV缓存长上下文推理编码器-解码器LCLM
推荐理由：长上下文推理的内存瓶颈终于有了一个兼顾质量与速度的解法，做LLM推理优化或长时智能体的开发者值得关注，LCLM的压缩方案可以直接用于生产环境。
原文
6月1日
10:11
10:11官方账号arXiv cs.LG@Nianyi Lin, Jiajie Zhang, Lei Hou, Juanzi Li
精选
LongTraceRL 是一种新方法，旨在解决大语言模型在长上下文推理中难以定位和整合关键信息的问题。它通过知识图谱随机游走生成多跳问题，并利用搜索智能体的轨迹构建高混淆度的干扰文档，使训练上下文更具挑战性。同时，它提出了一种基于实体级过程监督的“评分奖励”，只对正确答案的推理过程进行细粒度评估，避免奖励作弊。在 4B 到 30B 的多个推理模型上，LongTraceRL 在五个长上下文基准测试中持续优于强基线，并促进了基于证据的推理。代码、数据集和模型已开源。
论文长上下文推理强化学习搜索智能体奖励设计开源/仓库
推荐理由：长上下文推理是当前大模型的瓶颈，LongTraceRL 用搜索轨迹和细粒度奖励解决了干扰项和奖励稀疏的问题，做推理模型训练或长文档理解的团队可以直接用开源代码复现。
原文
5月13日
19:12
19:12官方账号arXiv cs.AI@Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez
精选
KV-Fold 是一种无需训练的长上下文推理协议，将键值（KV）缓存视为序列块上的左折叠累加器。模型在处理每个块时，基于累积的缓存进行条件处理，追加新生成的键和值，并将扩展后的缓存传递到下一步，重复这一单步更新过程。该方法在 Llama-3.1-8B 模型上的“大海捞针”基准测试中，在 152 次试验中实现了 100% 的精确匹配检索，覆盖 16K 到 128K 令牌的上下文和最多 511 层的链深度，且仅需单块 40GB GPU 内存。KV-Fold 的递归过程稳定，每步漂移短暂上升后饱和为平坦平台，对数值精度变化不敏感，跨块大小和模型家族表现一致。这项工作表明，冻结的预训练 Transformer 已经支持稳定的 KV 缓存递归形式，为无需架构更改或训练的长上下文推理提供了实用路径。
论文长上下文推理KV缓存递归无需训练Transformer
推荐理由：KV-Fold 用简单的左折叠思路解决了长上下文推理的内存和精度痛点，做 LLM 推理优化或长文档处理的团队可以直接在现有模型上尝试，无需额外训练。
原文