全部 AI 动态 · AI 热点

5月28日

10:40

rohanpaul_ai@rohanpaul_ai

精选

研究发现，长时间运行的语言智能体如果定期暂停并整合记忆，性能会更好。当前Transformer模型随着上下文增长，注意力机制需要检查更多历史token，导致推理变慢且成本增加。论文提出在模型中引入“睡眠阶段”：暂停推理，多次重读近期上下文，将有用信息写入固定大小的记忆层，然后清空短期注意力缓存。这样，模型在睡眠时进行额外计算，而正常推理仍保持单次前向传播的高效。实验表明，睡眠时间越长，模型在需要深度推理的复杂任务上表现越好，尤其当旧信息已不在注意力缓存中时。

论文智能体长上下文记忆整合注意力机制推理模型

推荐理由：长时运行智能体终于有了解决上下文膨胀问题的思路——做Agent或长链推理的开发者值得关注，它可能改变你处理长期记忆的方式。

原文

06:13

rohanpaul_ai@rohanpaul_ai

本期新闻简报涵盖多项AI与芯片领域重要进展：华为公布芯片设计新突破，有望缩小与台积电、英特尔的差距；阿里巴巴与南京大学联合论文提出通过选择性稀疏注意力机制，使标准LLM高效处理超长上下文；深度分析DeepSeek的真正优势不在于廉价聊天机器人，而在于将硬件稀缺转化为策略的架构创新；Meta、斯坦福与伊利诺伊大学联合调研论文主张AI智能体在代码作为主要工作层时表现更佳；Anthropic联合创始人警告AI导致的失业将引发历史性道德危机；xAI向SuperGrok和X Premium+用户推出终端原生智能体“Grok Build”。

行业华为芯片设计长上下文 DeepSeek 智能体 Grok Build AI失业

推荐理由：芯片开发者、长上下文研究者、智能体实践者都能从中找到硬核洞察——华为的突破可能重塑竞争格局，阿里论文直接解决长文本推理痛点，DeepSeek的架构思路值得借鉴。建议花5分钟扫读，挑与自身领域相关的深度内容细看。

原文

04:56

宝玉@dotey

RepoPrompt 是一款将整个代码仓库拼接成 XML 文本的工具，方便发送给支持长上下文的 AI 模型（如 Gemini 2、Claude 3.5、o1 pro）。其作者已被 OpenAI 招安，软件现已免费，并计划开源。此前付费用户将获得 Codex Credits 作为补偿。该工具目前仅支持 Mac 平台，可选择性包含部分文件。这一变化意味着开发者可以免费使用该工具，并期待其开源后的社区贡献。

AI产品 RepoPrompt 开源/仓库 AI编程助手长上下文 OpenAI

推荐理由：RepoPrompt 解决了将整个代码仓库高效喂给大模型的痛点，做 AI 编程或代码审查的开发者现在可以免费使用，而且即将开源，值得关注后续社区版本。

原文

5月27日

08:36

berryxia@berryxia

83°

MiniMax AI工程负责人Skyler Miao预告了下一代模型M3的发布，并透露其核心架构：基于GQA的动态块稀疏注意力。该技术通过轻量索引分支快速筛选相关token块，仅对关键块执行稀疏注意力计算，大幅降低算力需求。在1M token上下文下，M3的预填充速度比M2快9.7倍，解码速度快15.6倍。这使得百万token级别的Agent任务从理论走向实用，长上下文处理变得又快又省。M3的发布将为长上下文模型赛道增添有力竞争者。

AI模型 MiniMax M3 长上下文稀疏注意力 Agent

推荐理由：MiniMax M3用动态稀疏注意力把1M上下文的算力成本打下来了，做长上下文Agent的开发者可以直接关注，这可能是让百万token任务真正落地的关键突破。

原文

04:08

elvis@omarsar0

精选

该论文提出一种睡眠压缩机制，让模型每N步进行离线递归处理将上下文写入持久快速权重，然后清除KV缓存。在细胞自动机、多跳图检索和数学推理任务上，该方法比纯Transformer和SSM-Attention混合模型效果更好，睡眠时间越长性能提升越大。这为长时智能体提供了替代方案，通过压缩和遗忘原始token来避免注意力二次计算开销。

论文 DAIR.AI 智能体长上下文推理模型状态空间模型

推荐理由：智能体睡一觉，推理更强

原文

01:37

rohanpaul_ai@rohanpaul_ai

研究发现，长上下文AI模型并非被大量错误信息逐渐削弱，而是仅需10%的误导性段落就能造成近58%的性能损失，这种现象被称为“第一滴墨水效应”。误导信息之所以危险，是因为它们与问题高度相关但错误，在注意力机制中会挤占正确答案的空间。在128K token的Qwen2.5实验中，前10%的硬干扰项解释了97%的干扰压力。这意味着过滤文档时，移除坏内容不如缩短整个上下文有效。该研究对构建长上下文AI系统的开发者具有重要警示意义。

论文长上下文注意力机制误导信息第一滴墨水效应 Qwen2.5

推荐理由：做长上下文AI应用或RAG系统的团队，这个发现会颠覆你对上下文管理的认知——不是堆更多文档就能提升效果，少而精才是关键，建议点开看看具体实验数据。

原文

5月26日

23:22

berryxia@berryxia

83°

CMU和UMD的研究团队发现，Transformer大模型在处理超长任务时注意力机制会因上下文长度二次方爆炸而性能下降。他们提出“sleep-like consolidation”机制，让模型在“睡眠”期间将最近上下文转化为持久fast weights并清空KV cache，从而将短期记忆转为长期记忆。实验表明，增加睡眠深度或时长能显著提升睡眠后的推理能力。该方案完全开源，颠覆了传统靠堆显存扩展上下文的做法。

论文 Transformer 长上下文记忆固化开源/仓库推理优化

推荐理由：这个研究用“睡觉”这种生物启发机制解决了长上下文推理的显存和速度瓶颈，做长序列AI应用的开发者可以直接参考开源方案，比堆显存更聪明。

原文

11:44

arXiv cs.AI@Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti

精选

论文提出一种类似睡眠的记忆巩固机制，让 Transformer 模型在长上下文任务中表现更好。模型在推理过程中定期将近期上下文转换为持久化的快速权重，并清除键值缓存，类似生物体的睡眠过程。在睡眠阶段，模型对积累的上下文进行多次离线循环处理，通过局部学习规则更新状态空间模型（SSM）块中的快速权重。在合成任务（如元胞自动机、多跳图检索）和数学推理任务上，该方法显著优于普通 Transformer 和 SSM-注意力混合模型。增加睡眠时长 N 能持续提升性能，尤其在需要深层推理的样本上效果最明显。

论文 Transformer 长上下文记忆巩固推理模型状态空间模型

推荐理由：这项研究给长上下文推理带来了新思路——用类似睡眠的离线巩固机制解决注意力瓶颈，做长链推理或复杂数学问题的开发者值得关注，尤其适合处理超长上下文的场景。

原文

05:31

marktechpost@Asif Razzaq

72°

Together AI 开源了 OSCAR，一种面向长上下文 LLM 推理的 INT2 KV 缓存量化方法。与依赖数据无关的 Hadamard 变换不同，OSCAR 通过离线估计注意力感知的协方差结构，为键和值分别推导旋转矩阵。在 Qwen3-4B-Thinking-2507 和 Qwen3-8B 上，OSCAR 以每 KV 元素 2.28 比特的精度，将 BF16 精度差距分别缩小至 3.78 和 1.42 分。该方法可实现约 8 倍的 KV 内存缩减，并在 100K 上下文长度下带来最高 3 倍的解码加速。

AI模型量化 KV 缓存长上下文 Together AI 推理优化

推荐理由：长上下文 LLM 推理的内存瓶颈终于有了实用解法——OSCAR 在 2-bit 量化下几乎不损失精度，做长文档/多轮对话推理的团队可以直接集成，显著降低硬件成本。

原文

5月25日

04:37

rohanpaul_ai@rohanpaul_ai

精选72°

阿里巴巴与南京大学联合发表论文，提出RTPurbo方法，通过轻量级适配将百万token预填充速度提升9.36倍（对比FlashAttention-2）。该方法发现训练好的全注意力模型已存在隐藏稀疏结构，无需重新训练。RTPurbo识别出少数需要远距离token的注意力头，其余头聚焦邻近文本，并使用16维索引器快速定位关键token。在长上下文基准和推理任务中，RTPurbo保持接近全注意力的精度，同时实现高达9.36倍加速。这证明长上下文推理中的浪费比表面看起来更有结构性。

论文长上下文注意力稀疏化推理加速 RTPurbo Alibaba

推荐理由：长上下文推理的算力瓶颈是AI应用落地的关键障碍，做LLM推理优化或长文档处理的团队可以直接参考RTPurbo的稀疏化思路，无需从头训练模型。

原文

5月22日

11:02

arXiv cs.AI@Ali Hatamizadeh, Yejin Choi, Jan Kautz

精选72°

线性注意力模型通过固定大小的循环状态替代软注意力的无限缓存，但如何高效编辑压缩记忆而不打乱已有关联是难点。现有Delta规则模型使用单一标量门控同时控制擦除旧内容和写入新内容，存在耦合限制。Gated DeltaNet-2提出通道级擦除门控b_t和写入门控w_t，将两者解耦，可退化为KDA和Gated DeltaNet。在1.3B参数、100B FineWeb-Edu tokens训练下，该模型在语言建模、常识推理和检索任务上全面超越Mamba-2、Gated DeltaNet、KDA和Mamba-3。尤其在长上下文RULER基准的多键检索设置中优势显著，代码已开源。

论文线性注意力门控机制长上下文开源/仓库推理模型

推荐理由：线性注意力研究者终于有了更精细的门控机制——Gated DeltaNet-2把擦除和写入分开控制，做高效长序列建模的团队可以直接复现并对比效果。

原文

09:37

Together AI@togethercompute

83°

阿里巴巴推出Qwen3.7-Max旗舰模型，专为智能体时代设计，支持100万token上下文窗口。该模型在智能体编程、推理和长周期自主任务上表现领先。现在可通过Together Serverless Inference平台用于生产级智能体工作流。这标志着大模型从对话助手向自主智能体核心引擎的转变。

AI模型 Qwen3.7-Max 智能体长上下文推理模型阿里

推荐理由：做智能体应用的开发者终于有了一个原生支持长上下文和自主决策的旗舰模型，1M上下文窗口直接解决复杂任务中的记忆瓶颈，建议在Together上试试生产级部署。

原文

5月20日

11:42

arXiv: OpenAI@Zhuohan Gu, Qizheng Zhang, Omar Khattab, Samuel Madden

精选

PEEK 是一种为长上下文 LLM 智能体设计的系统，通过缓存和维护“上下文地图”来提升其在重复外部上下文（如文档库、代码仓库）中的表现。现有方法要么保留智能体的轨迹、被动访问原始材料，要么保留任务级策略，但都忽略了可复用的方向知识（如上下文内容、组织方式、历史有用的实体和模式）。PEEK 通过三个模块（Distiller、Cartographer、Evictor）将推理信号转化为结构化、固定大小的上下文地图，并嵌入智能体提示中。实验显示，PEEK 在长上下文推理和信息聚合任务上比强基线提升 6.3-34.0%，同时减少 93-145 次迭代，成本比最先进的 ACE 框架低 1.7-5.8 倍。在上下文学习任务上，PEEK 的解决率和评分准确率分别提升 6.0-14.0% 和 7.8-12.1%，成本仅为 ACE 的 1.4 倍，且泛化到不同语言模型和智能体架构。

论文长上下文智能体缓存策略上下文地图 PEEK

推荐理由：PEEK 解决了长上下文智能体在重复场景中反复“从头探索”的痛点，做文档分析或代码库维护的开发者可以直接用，能显著降低推理成本并提升准确率。

原文

10:44

arXiv: DeepSeek@Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

精选

GoLongRL 是一个完全开源的长上下文强化学习训练方案，包含 23K 样本的数据集、完整构建流程和训练代码。该方案基于长上下文能力分类法，覆盖 9 种任务类型，每个任务配有自然评估指标，数据来源包括书籍、学术论文和多轮对话等真实文档。在相同 GRPO 设置下，GoLongRL 数据集优于闭源的 QwenLong-L1.5 数据集，且 Qwen3-30B-A3B 模型在长上下文任务上表现接近 DeepSeek-R1-0528 和 Qwen3-235B-A22B。此外，论文提出 TMN-Reweight 方法，通过任务级均值归一化和难度自适应加权，解决异构奖励优化问题，进一步提升平均性能并保持通用能力。

论文长上下文强化学习开源/仓库 RLVR 多任务对齐

推荐理由：长上下文 RL 训练的数据构建和奖励设计一直是个难题，GoLongRL 提供了开源数据集和优化方法，做长上下文模型训练的团队可以直接复用，省去大量数据构造工作。

原文

02:45

Jeff Dean@JeffDean

72°

Jeff Dean 展示了 Gemini 3.5 Flash 的新能力：它能瞬间消化密集的学术论文，并自主编码出一个完全交互式的可视化网站，解释研究的细节。该过程融合了超长上下文、深度推理、复杂编码和超低延迟，是对模型综合能力的极限测试。这一功能帮助用户快速提炼论文精髓，加深理解。

AI产品 Gemini 3.5 Flash 论文理解自动编码交互式网站长上下文

推荐理由：研究人员和开发者终于有了一个能边读论文边自动生成交互式演示的工具，省去手动编码和理解的繁琐，建议直接体验。

原文

5月19日

14:22

arXiv cs.AI@Yuxiang Huang, Nuno M. T. Gonçalves, Federico Alvetreti, Lei Li, Xu Han, Edoardo M. Ponti, André F. T. Martins, Marcos V. Treviso

精选72°

DashAttention 提出了一种新的分层注意力机制，通过可微分的 α-entmax 变换替代传统 top-k 操作，自适应地为每个查询选择可变数量的关键值块，从而解决了现有方法（如 NSA 和 InfLLMv2）中固定块数和梯度阻断的问题。该方法保持整个层次结构完全可微分，且具有非分散性，提升了长上下文建模能力。实验表明，在 75% 稀疏度下，DashAttention 的准确率与全注意力相当，在高稀疏场景下优于 NSA 和 InfLLMv2。其基于 Triton 的 GPU 实现推理速度甚至超过 FlashAttention-3。DashAttention 为长上下文模型提供了一种高效且经济的方案。

论文注意力机制长上下文稀疏注意力可微分 LLM

推荐理由：长上下文 LLM 的推理成本一直是痛点，DashAttention 用可微分稀疏注意力在保持精度的同时大幅提速，做长文本推理和模型优化的研究者值得关注。

原文

11:24

arXiv cs.AI@Yasuyuki Okoshi, Hao Mark Chen, Guanxi Lu, Hongxiang Fan, Masato Motomura, Daichi Fujiki

精选

现代大语言模型依赖长前缀来控制推理行为，但前缀影响会随生成衰减，且注意力计算成本随前缀长度线性增长。现有方法要么压缩前缀但仍需注意力计算，要么通过梯度训练内化前缀但更新困难。本文提出 attention-state memory，一种无训练方法，将前缀与查询 token 的预计算注意力状态外化到轻量级查找表中。在 ManyICLBench 上，LLaMA-3.1-8B 在 1K-8K 内存预算下准确率超过上下文学习，注意力延迟降低 1.36 倍；在 NBA 基准上仅用 20% 内存就超越全注意力 RAG 性能。

论文长上下文注意力机制 LLM推理无训练方法内存优化

推荐理由：长上下文推理的注意力瓶颈终于有了轻量级解法——无训练、可更新、内存高效，做 LLM 推理优化或长文档应用的团队值得关注。

原文

5月17日

01:25

berryxia@berryxia

精选73°

Sebastian Raschka发布《Recent Developments in LLM Architectures》，用可视化方式拆解Gemma 4到DeepSeek V4的硬核优化。文章指出长上下文瓶颈已从“能否支持更多token”转向“如何聪明分配计算”，这些优化已在生产环境落地。正在做长上下文模型、Agent或RAG的团队，这篇文章的视觉图和效率对比特别值得细读。

论文长上下文架构优化 Gemma 4 DeepSeek V4 效率对比

推荐理由：长上下文竞争已从堆token转向架构优化，做Agent或RAG的团队可以从Gemma 4到DeepSeek V4的真实方案中直接借鉴效率提升思路。

原文

5月16日

23:51

Viking@vikingmute

精选

开发者 vikingmute 分享了一个解决 Codex 长上下文响应变慢的技巧：使用 handoff 技能将当前对话压缩成一份 handoff 文件，然后新开 session 继续任务。他发现 Codex 在上下文变长时返回速度明显下降，而 handoff 能避免自动压缩带来的性能损失，在任务进行到 70%-80% 时使用效果最佳。该技巧与 Codex 最新的 /goal 模式原理相似，适合处理长任务。

AI产品 Codex handoff 长上下文性能优化编程助手

推荐理由：Codex 重度用户终于有了应对长上下文卡顿的实战技巧——handoff 压缩对话再开新 session，比硬扛自动压缩快很多，做复杂自动化任务的开发者可以直接抄作业。

原文

5月15日

10:08

arXiv: DeepSeek@Bin Lei, Caiwen Ding, Jiachen Yang, Ang Li, Xin Eric Wang

精选

研究发现，思维链推理长度增加时，模型对早期关键洞察的注意力会逐渐减弱，导致准确率在达到峰值后下降。为此，研究者提出InsightReplay方法，让模型在推理过程中定期提取关键洞察并回放到当前生成位置附近，保持其可访问性。在8B和30B规模的Qwen3.5、DeepSeek-R1-Distill-Qwen、Gemma-4模型上，覆盖AIME、HMMT、GPQA Diamond、LiveCodeBench v5等基准测试，3轮InsightReplay在所有24个设置中均带来准确率提升，平均提升1.65个百分点，最高单设置提升达9.2个百分点。结果表明，测试时扩展的有效性不仅取决于推理量，还取决于关键中间洞察在长推理轨迹中的可访问性。

论文推理模型思维链注意力机制 InsightReplay 长上下文

推荐理由：长链推理的注意力衰减问题终于有了针对性解法，做推理模型优化或长上下文应用的团队值得关注——InsightReplay简单有效，可以直接在现有CoT框架上尝试。

原文

5月14日

13:37

深度求索 DeepSeek@deepseek_ai

78°

DeepSeek 发布了 V4 Preview 版本，包含 Pro 和 Flash 两个模型，均支持 1M 上下文长度。Pro 版本总参数量 1.6T，激活参数 49B，性能对标全球顶级闭源模型；Flash 版本总参数量 284B，激活参数 13B，主打高效经济。模型权重和技术报告已开源，API 同步更新。这标志着开源大模型在长上下文和性价比上迈出重要一步。

AI模型 DeepSeek-V4 开源/仓库长上下文推理模型性价比

推荐理由：长上下文和低成本是当前 AI 应用的两大痛点，DeepSeek-V4 同时解决这两个问题，做 RAG、文档分析或长对话的开发者可以直接上手试试。

原文

5月12日

21:55

Together AI@togethercompute

75°

DeepSeek V4 Pro在Together AI无服务器平台上发布，具备长上下文推理能力和领先的编程性能。该模型通过KV缓存、前缀重用、混合注意力、批处理、内核优化和端点配置等技术实现高效服务。来自@zhyncs42、@realDanFu等人的深入分析揭示了其技术细节。

AI模型推理模型开源/仓库 Together AI 长上下文编程

推荐理由：DeepSeek V4 Pro在长上下文推理和编程任务上的表现达到SOTA，同时其高效服务技术栈的公开分析对AI部署实践有重要参考价值。

原文