AITOP

长上下文

共 74 条相关 AI 资讯
6月4日
10:02
10:02官方一手pandaily@contact@pandaily.com (Pandaily)
精选76°
中国科学技术大学（USTC）研究人员开源了一种创新的智能体驱动长上下文训练范式，该范式通过智能体引导的数据生成和训练策略，显著提升了长上下文处理效率。实验表明，一个30亿参数的模型在长上下文任务上达到了与阿里巴巴Qwen3-235B模型相当的性能，而参数量仅为后者的八分之一。这一突破降低了长上下文模型训练的门槛，为资源有限的团队提供了高效方案。该范式已开源，有望推动长上下文AI应用的普及。
论文长上下文智能体开源/仓库训练范式USTC
推荐理由：中科大用30B模型打平235B的长上下文能力，做长上下文训练的团队可以直接复用这套开源范式，省下大量算力和数据成本。
原文
01:21
6月3日
12:49
12:49rohanpaul_ai@rohanpaul_ai
一篇新论文提出Self-Pruned Key-Value Attention方法，让大语言模型在长文本生成时只保留对后续token有用的历史键值对，从而大幅压缩KV缓存。该方法通过一个小型预测器为每个键值对打分，只保留高分项，同时确保最近token始终保留。模型在训练时通过正常的next-token预测学习剪枝策略，无需手工规则。实验表明，模型通常只保留10%到33.7%的旧键值对，性能接近全注意力，解码速度在长上下文场景下提升2.1到4.6倍。
论文KV缓存长上下文注意力机制模型压缩Self-Pruned Key-Value Attention
推荐理由：KV缓存是长上下文推理的瓶颈，这篇论文用自学习剪枝解决了内存爆炸问题，做LLM推理优化或长文本应用的开发者可以直接参考其方法。
原文
04:40
6月2日
04:47
04:47官方一手marktechpost@Asif Razzaq
78°
MiniMax 正式发布新一代大模型 MiniMax M3，采用自研的 MiniMax Sparse Attention（MSA）架构，支持高达 100 万 token 的超长上下文窗口。该模型原生支持图像、视频理解以及计算机使用（computer use）能力，并具备智能体编程（agentic coding）功能。MSA 架构通过稀疏注意力机制显著降低长序列计算成本，使得处理百万级 token 成为可能。这标志着国产大模型在长上下文和多模态融合方面迈出了重要一步，为复杂文档分析、视频理解和自动化编程等场景提供了新的基础设施。
AI模型MiniMaxM3MSA架构长上下文多模态智能体编程
推荐理由：MiniMax M3 的 1M 上下文和原生多模态能力直接解决了长文档分析和视频理解的痛点，做 RAG 应用或自动化编程的团队值得关注其 agentic coding 特性。
原文
6月1日
18:53
18:53岚叔@lufzzliz
精选76°
MiniMax 发布新一代旗舰模型 M3，面向 coding agent、长上下文和多模态任务。M3 支持 1M 上下文，核心技术创新是 MiniMax Sparse Attention (MSA)，通过稀疏注意力将 KV 分块并精确选取相关块，大幅降低长上下文计算成本。在 1M 上下文下，每 token 计算量仅为上一代的 1/20，prefill 提速 9 倍以上，decode 提速 15 倍以上。M3 支持文本、图片、视频输入，将长上下文、工具调用、多模态理解和持续执行能力整合，明确押注 agentic coding 场景。
AI模型MiniMax-M3稀疏注意力长上下文Agentic Coding多模态
推荐理由：M3 的稀疏注意力解决了长上下文推理的成本痛点，做 coding agent 和自动化任务的开发者可以直接关注——1M 上下文下计算量骤降 95%，意味着更长的任务链也能跑得动。
原文
15:16
15:16官方一手pandaily@contact@pandaily.com (Pandaily)
精选83°
MiniMax 发布了其旗舰模型 M3，声称这是国内首个将前沿编码、智能体能力、100 万 token 上下文窗口和原生多模态处理整合在单一架构中的 AI 模型。M3 模型在多项基准测试中表现出色，尤其在长文本理解和复杂任务执行方面。该模型支持同时处理文本、图像、音频等多种输入，并具备强大的代码生成和工具调用能力。MiniMax 表示 M3 旨在为开发者和企业提供更高效、更全面的 AI 解决方案。
AI模型MiniMaxM3多模态长上下文智能体
推荐理由：MiniMax M3 将 1M 上下文、多模态和智能体能力打包进一个模型，做长文本处理或多模态应用的开发者可以直接用它替代多个模型组合，省心又高效。
原文
14:50
14:50官方一手歸藏(guizang.ai)@op7418
精选76°
MiniMax 正式发布大版本模型升级 MiniMax M3，核心亮点包括标配 1M 超长上下文、采用新的 MSA（MoE with Segment-wise Attention）稀疏注意力架构，以及从训练起就融合了文本、图片、视频和桌面操作的原生多模态能力。MSA 架构在 100 万上下文下每 token 计算量仅为上一代的约 1/20，大幅提升可落地性。API 价格同步更新，小于 512k 的 API 限时五折（7 天）。模型权重和技术报告将在约 10 天后开源。
AI模型MiniMax M3长上下文稀疏注意力多模态API
推荐理由：MiniMax M3 把长上下文、稀疏注意力和多模态融合做到了一个模型里，而且计算效率大幅提升，做 Agent 开发、多模态应用或长文档处理的团队可以直接用 API 试试，价格也很友好。
原文
11:11
5月29日
11:17
11:17官方一手pandaily@contact@pandaily.com (Pandaily)
卡内基梅隆大学和马里兰大学的研究人员发现，大型语言模型（LLM）在模拟“睡眠”机制后，能够更好地整合长上下文信息，从而提升复杂推理任务的性能。该研究通过让模型在训练或推理过程中插入类似睡眠的“巩固”阶段，有效减少了信息遗忘，并增强了模型对长文本的理解能力。这一发现为优化LLM的长期记忆和推理能力提供了新思路，可能对需要处理大量上下文的应用场景产生重要影响。
论文LLM推理模型长上下文睡眠机制CMU
推荐理由：做LLM推理优化或长上下文应用的团队值得关注——这项研究用“睡眠”机制解决了模型信息遗忘的痛点，直接提升复杂推理表现，建议点开看看具体实现。
原文
09:06
09:06官方账号NVIDIA AI@NVIDIAAI
精选76°
NVIDIA 宣布推出 Step 3.7 Flash 模型，这是一个 198B 参数的混合专家（MoE）模型，但仅需 11B 活跃参数即可运行，大幅降低推理成本。该模型支持 256K 上下文长度，并原生支持图像和视频输入。即日起可在 build.nvidia.com 上通过 GPU 加速端点使用，也可通过 NVIDIA NIM 微服务部署，并支持使用 NeMo 框架进行微调。这一发布标志着 NVIDIA 在高效大模型领域的重要进展，尤其适合需要多模态理解和长上下文处理的应用场景。
AI模型Step 3.7 FlashNVIDIAMoE多模态长上下文
推荐理由：198B 参数但仅 11B 活跃，推理效率极高，做多模态应用或长文档处理的团队可以直接在 NVIDIA 平台试用，省成本又省心。
原文
5月28日
11:59
11:59官方账号arXiv cs.LG@Kevin Y. Li, Asher Trockman, Ananda Theertha Suresh, Ziteng Sun
精选72°
Oryx 是一种新型混合架构，能在序列处理中灵活切换注意力（用于长上下文检索）和线性循环（用于高效生成），解决了传统模型在效率和长上下文能力之间的权衡。该模型在 1.4B 参数规模下，平均语言建模任务性能比单一混合器基线提升至少 0.7 个百分点。在检索任务中，即使仅用不到 10% 的 token 运行注意力模式，Oryx 也能达到与 Transformer 基线相当的性能。Oryx 的关键创新是让不同混合器共享至少 90% 的参数，从而在共享内部表示上高效切换。这项工作表明注意力与线性循环模型可以共享表示，为序列轴上的混合设计提供了新方向。
论文混合架构注意力机制线性循环模型长上下文Oryx
推荐理由：Oryx 解决了长上下文检索与高效生成的矛盾，做序列建模或大模型架构的开发者可以直接参考其共享参数设计思路，值得关注。
原文
10:40
10:40rohanpaul_ai@rohanpaul_ai
精选
研究发现，长时间运行的语言智能体如果定期暂停并整合记忆，性能会更好。当前Transformer模型随着上下文增长，注意力机制需要检查更多历史token，导致推理变慢且成本增加。论文提出在模型中引入“睡眠阶段”：暂停推理，多次重读近期上下文，将有用信息写入固定大小的记忆层，然后清空短期注意力缓存。这样，模型在睡眠时进行额外计算，而正常推理仍保持单次前向传播的高效。实验表明，睡眠时间越长，模型在需要深度推理的复杂任务上表现越好，尤其当旧信息已不在注意力缓存中时。
论文智能体长上下文记忆整合注意力机制推理模型
推荐理由：长时运行智能体终于有了解决上下文膨胀问题的思路——做Agent或长链推理的开发者值得关注，它可能改变你处理长期记忆的方式。
原文
06:13
06:13rohanpaul_ai@rohanpaul_ai
本期新闻简报涵盖多项AI与芯片领域重要进展：华为公布芯片设计新突破，有望缩小与台积电、英特尔的差距；阿里巴巴与南京大学联合论文提出通过选择性稀疏注意力机制，使标准LLM高效处理超长上下文；深度分析DeepSeek的真正优势不在于廉价聊天机器人，而在于将硬件稀缺转化为策略的架构创新；Meta、斯坦福与伊利诺伊大学联合调研论文主张AI智能体在代码作为主要工作层时表现更佳；Anthropic联合创始人警告AI导致的失业将引发历史性道德危机；xAI向SuperGrok和X Premium+用户推出终端原生智能体“Grok Build”。
行业华为芯片设计长上下文DeepSeek智能体Grok BuildAI失业
推荐理由：芯片开发者、长上下文研究者、智能体实践者都能从中找到硬核洞察——华为的突破可能重塑竞争格局，阿里论文直接解决长文本推理痛点，DeepSeek的架构思路值得借鉴。建议花5分钟扫读，挑与自身领域相关的深度内容细看。
原文
04:56
5月27日
08:36
08:36berryxia@berryxia
83°
MiniMax AI工程负责人Skyler Miao预告了下一代模型M3的发布，并透露其核心架构：基于GQA的动态块稀疏注意力。该技术通过轻量索引分支快速筛选相关token块，仅对关键块执行稀疏注意力计算，大幅降低算力需求。在1M token上下文下，M3的预填充速度比M2快9.7倍，解码速度快15.6倍。这使得百万token级别的Agent任务从理论走向实用，长上下文处理变得又快又省。M3的发布将为长上下文模型赛道增添有力竞争者。
AI模型MiniMaxM3长上下文稀疏注意力Agent
推荐理由：MiniMax M3用动态稀疏注意力把1M上下文的算力成本打下来了，做长上下文Agent的开发者可以直接关注，这可能是让百万token任务真正落地的关键突破。
原文
04:08
01:37
01:37rohanpaul_ai@rohanpaul_ai
研究发现，长上下文AI模型并非被大量错误信息逐渐削弱，而是仅需10%的误导性段落就能造成近58%的性能损失，这种现象被称为“第一滴墨水效应”。误导信息之所以危险，是因为它们与问题高度相关但错误，在注意力机制中会挤占正确答案的空间。在128K token的Qwen2.5实验中，前10%的硬干扰项解释了97%的干扰压力。这意味着过滤文档时，移除坏内容不如缩短整个上下文有效。该研究对构建长上下文AI系统的开发者具有重要警示意义。
论文长上下文注意力机制误导信息第一滴墨水效应Qwen2.5
推荐理由：做长上下文AI应用或RAG系统的团队，这个发现会颠覆你对上下文管理的认知——不是堆更多文档就能提升效果，少而精才是关键，建议点开看看具体实验数据。
原文
5月26日
23:22
23:22berryxia@berryxia
83°
CMU和UMD的研究团队发现，Transformer大模型在处理超长任务时注意力机制会因上下文长度二次方爆炸而性能下降。他们提出“sleep-like consolidation”机制，让模型在“睡眠”期间将最近上下文转化为持久fast weights并清空KV cache，从而将短期记忆转为长期记忆。实验表明，增加睡眠深度或时长能显著提升睡眠后的推理能力。该方案完全开源，颠覆了传统靠堆显存扩展上下文的做法。
论文Transformer长上下文记忆固化开源/仓库推理优化
推荐理由：这个研究用“睡觉”这种生物启发机制解决了长上下文推理的显存和速度瓶颈，做长序列AI应用的开发者可以直接参考开源方案，比堆显存更聪明。
原文
11:44
11:44官方账号arXiv cs.AI@Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti
精选
论文提出一种类似睡眠的记忆巩固机制，让 Transformer 模型在长上下文任务中表现更好。模型在推理过程中定期将近期上下文转换为持久化的快速权重，并清除键值缓存，类似生物体的睡眠过程。在睡眠阶段，模型对积累的上下文进行多次离线循环处理，通过局部学习规则更新状态空间模型（SSM）块中的快速权重。在合成任务（如元胞自动机、多跳图检索）和数学推理任务上，该方法显著优于普通 Transformer 和 SSM-注意力混合模型。增加睡眠时长 N 能持续提升性能，尤其在需要深层推理的样本上效果最明显。
论文Transformer长上下文记忆巩固推理模型状态空间模型
推荐理由：这项研究给长上下文推理带来了新思路——用类似睡眠的离线巩固机制解决注意力瓶颈，做长链推理或复杂数学问题的开发者值得关注，尤其适合处理超长上下文的场景。
原文
05:31
05:31官方一手marktechpost@Asif Razzaq
72°
Together AI 开源了 OSCAR，一种面向长上下文 LLM 推理的 INT2 KV 缓存量化方法。与依赖数据无关的 Hadamard 变换不同，OSCAR 通过离线估计注意力感知的协方差结构，为键和值分别推导旋转矩阵。在 Qwen3-4B-Thinking-2507 和 Qwen3-8B 上，OSCAR 以每 KV 元素 2.28 比特的精度，将 BF16 精度差距分别缩小至 3.78 和 1.42 分。该方法可实现约 8 倍的 KV 内存缩减，并在 100K 上下文长度下带来最高 3 倍的解码加速。
AI模型量化KV 缓存长上下文Together AI推理优化
推荐理由：长上下文 LLM 推理的内存瓶颈终于有了实用解法——OSCAR 在 2-bit 量化下几乎不损失精度，做长文档/多轮对话推理的团队可以直接集成，显著降低硬件成本。
原文
5月25日
04:37
04:37rohanpaul_ai@rohanpaul_ai
精选72°
阿里巴巴与南京大学联合发表论文，提出RTPurbo方法，通过轻量级适配将百万token预填充速度提升9.36倍（对比FlashAttention-2）。该方法发现训练好的全注意力模型已存在隐藏稀疏结构，无需重新训练。RTPurbo识别出少数需要远距离token的注意力头，其余头聚焦邻近文本，并使用16维索引器快速定位关键token。在长上下文基准和推理任务中，RTPurbo保持接近全注意力的精度，同时实现高达9.36倍加速。这证明长上下文推理中的浪费比表面看起来更有结构性。
论文长上下文注意力稀疏化推理加速RTPurboAlibaba
推荐理由：长上下文推理的算力瓶颈是AI应用落地的关键障碍，做LLM推理优化或长文档处理的团队可以直接参考RTPurbo的稀疏化思路，无需从头训练模型。
原文
5月22日
11:02
11:02官方账号arXiv cs.AI@Ali Hatamizadeh, Yejin Choi, Jan Kautz
精选72°
线性注意力模型通过固定大小的循环状态替代软注意力的无限缓存，但如何高效编辑压缩记忆而不打乱已有关联是难点。现有Delta规则模型使用单一标量门控同时控制擦除旧内容和写入新内容，存在耦合限制。Gated DeltaNet-2提出通道级擦除门控b_t和写入门控w_t，将两者解耦，可退化为KDA和Gated DeltaNet。在1.3B参数、100B FineWeb-Edu tokens训练下，该模型在语言建模、常识推理和检索任务上全面超越Mamba-2、Gated DeltaNet、KDA和Mamba-3。尤其在长上下文RULER基准的多键检索设置中优势显著，代码已开源。
论文线性注意力门控机制长上下文开源/仓库推理模型
推荐理由：线性注意力研究者终于有了更精细的门控机制——Gated DeltaNet-2把擦除和写入分开控制，做高效长序列建模的团队可以直接复现并对比效果。
原文
09:37
5月20日
11:42
11:42官方一手arXiv: OpenAI@Zhuohan Gu, Qizheng Zhang, Omar Khattab, Samuel Madden
精选
PEEK 是一种为长上下文 LLM 智能体设计的系统，通过缓存和维护“上下文地图”来提升其在重复外部上下文（如文档库、代码仓库）中的表现。现有方法要么保留智能体的轨迹、被动访问原始材料，要么保留任务级策略，但都忽略了可复用的方向知识（如上下文内容、组织方式、历史有用的实体和模式）。PEEK 通过三个模块（Distiller、Cartographer、Evictor）将推理信号转化为结构化、固定大小的上下文地图，并嵌入智能体提示中。实验显示，PEEK 在长上下文推理和信息聚合任务上比强基线提升 6.3-34.0%，同时减少 93-145 次迭代，成本比最先进的 ACE 框架低 1.7-5.8 倍。在上下文学习任务上，PEEK 的解决率和评分准确率分别提升 6.0-14.0% 和 7.8-12.1%，成本仅为 ACE 的 1.4 倍，且泛化到不同语言模型和智能体架构。
论文长上下文智能体缓存策略上下文地图PEEK
推荐理由：PEEK 解决了长上下文智能体在重复场景中反复“从头探索”的痛点，做文档分析或代码库维护的开发者可以直接用，能显著降低推理成本并提升准确率。
原文
10:44
10:44官方一手arXiv: DeepSeek@Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li
精选
GoLongRL 是一个完全开源的长上下文强化学习训练方案，包含 23K 样本的数据集、完整构建流程和训练代码。该方案基于长上下文能力分类法，覆盖 9 种任务类型，每个任务配有自然评估指标，数据来源包括书籍、学术论文和多轮对话等真实文档。在相同 GRPO 设置下，GoLongRL 数据集优于闭源的 QwenLong-L1.5 数据集，且 Qwen3-30B-A3B 模型在长上下文任务上表现接近 DeepSeek-R1-0528 和 Qwen3-235B-A22B。此外，论文提出 TMN-Reweight 方法，通过任务级均值归一化和难度自适应加权，解决异构奖励优化问题，进一步提升平均性能并保持通用能力。
论文长上下文强化学习开源/仓库RLVR多任务对齐
推荐理由：长上下文 RL 训练的数据构建和奖励设计一直是个难题，GoLongRL 提供了开源数据集和优化方法，做长上下文模型训练的团队可以直接复用，省去大量数据构造工作。
原文
02:45
5月19日
14:22
14:22官方账号arXiv cs.AI@Yuxiang Huang, Nuno M. T. Gonçalves, Federico Alvetreti, Lei Li, Xu Han, Edoardo M. Ponti, André F. T. Martins, Marcos V. Treviso
精选72°
DashAttention 提出了一种新的分层注意力机制，通过可微分的 α-entmax 变换替代传统 top-k 操作，自适应地为每个查询选择可变数量的关键值块，从而解决了现有方法（如 NSA 和 InfLLMv2）中固定块数和梯度阻断的问题。该方法保持整个层次结构完全可微分，且具有非分散性，提升了长上下文建模能力。实验表明，在 75% 稀疏度下，DashAttention 的准确率与全注意力相当，在高稀疏场景下优于 NSA 和 InfLLMv2。其基于 Triton 的 GPU 实现推理速度甚至超过 FlashAttention-3。DashAttention 为长上下文模型提供了一种高效且经济的方案。
论文注意力机制长上下文稀疏注意力可微分LLM
推荐理由：长上下文 LLM 的推理成本一直是痛点，DashAttention 用可微分稀疏注意力在保持精度的同时大幅提速，做长文本推理和模型优化的研究者值得关注。
原文
11:24
11:24官方账号arXiv cs.AI@Yasuyuki Okoshi, Hao Mark Chen, Guanxi Lu, Hongxiang Fan, Masato Motomura, Daichi Fujiki
精选
现代大语言模型依赖长前缀来控制推理行为，但前缀影响会随生成衰减，且注意力计算成本随前缀长度线性增长。现有方法要么压缩前缀但仍需注意力计算，要么通过梯度训练内化前缀但更新困难。本文提出 attention-state memory，一种无训练方法，将前缀与查询 token 的预计算注意力状态外化到轻量级查找表中。在 ManyICLBench 上，LLaMA-3.1-8B 在 1K-8K 内存预算下准确率超过上下文学习，注意力延迟降低 1.36 倍；在 NBA 基准上仅用 20% 内存就超越全注意力 RAG 性能。
论文长上下文注意力机制LLM推理无训练方法内存优化
推荐理由：长上下文推理的注意力瓶颈终于有了轻量级解法——无训练、可更新、内存高效，做 LLM 推理优化或长文档应用的团队值得关注。
原文
5月17日
01:25
5月16日
23:51
5月15日
10:08
10:08官方一手arXiv: DeepSeek@Bin Lei, Caiwen Ding, Jiachen Yang, Ang Li, Xin Eric Wang
精选
研究发现，思维链推理长度增加时，模型对早期关键洞察的注意力会逐渐减弱，导致准确率在达到峰值后下降。为此，研究者提出InsightReplay方法，让模型在推理过程中定期提取关键洞察并回放到当前生成位置附近，保持其可访问性。在8B和30B规模的Qwen3.5、DeepSeek-R1-Distill-Qwen、Gemma-4模型上，覆盖AIME、HMMT、GPQA Diamond、LiveCodeBench v5等基准测试，3轮InsightReplay在所有24个设置中均带来准确率提升，平均提升1.65个百分点，最高单设置提升达9.2个百分点。结果表明，测试时扩展的有效性不仅取决于推理量，还取决于关键中间洞察在长推理轨迹中的可访问性。
论文推理模型思维链注意力机制InsightReplay长上下文
推荐理由：长链推理的注意力衰减问题终于有了针对性解法，做推理模型优化或长上下文应用的团队值得关注——InsightReplay简单有效，可以直接在现有CoT框架上尝试。
原文
5月14日
13:37
5月12日
21:55