长上下文相关 AI 资讯

8月19日

11:43

官方一手arXiv: DeepSeek@Zixuan Li

精选

论文提出Bounded-State Restoration(BSR)方法，分离完整发现与本地驻留。在DeepSeek-V4-Flash模型测试中，外部状态达31.277 GiB/rank时，L1 RWS仅保持500.75 MiB/rank，实现63.959倍的外部到实时暂存比例。BSR通过最多W个块的窗口安装确认状态，在辅助状态有界的情况下，恢复容量为O(W)。SSD优化将512K恢复TTFT从43.1降至17.6秒，不改变RWS大小。

论文 DeepSeek-V4-Flash BSR KV-cache

事件专题

推荐理由：DeepSeek团队提出BSR方法，让LLM在极小内存下恢复超大状态，比传统方法高效63倍。

原文

8月18日

10:30

官方账号arXiv cs.LG@Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville

Proteus提出增量记忆激活机制，随上下文增长逐步扩展记忆容量。该方法可嵌入SWLA、Comba、Titans、Hope-Attention等模型，无需额外成本。在长上下文检索和理解任务上持续提升，且优势随长度增加而扩大。

AI模型 Proteus SWLA Titans

推荐理由：Proteus给长上下文模型加了个记忆开关，逐步解锁容量，让SWLA、Titans这些模型在长文本上表现更好，越长的上下文提升越明显。

原文

8月15日

00:25

官方账号阿里通义 Qwen@Alibaba_Qwen

精选

阿里云发布 Qwen3.8-Max，即 2.4T-A95B 架构。即日起可通过 DigitalOcean Serverless Inference 调用，运行在 NVIDIA HGX B300 GPU 上。模型支持 1M token 上下文，专为长时程编码任务设计。用户按 API 用量付费，无需自建基础设施。

AI模型 Qwen3.8-Max DigitalOcean 阿里云

事件专题

推荐理由：阿里云把Qwen3.8-Max放上DigitalOcean了，1M上下文，写长代码直接调，按量付费不用管服务器。

原文

00:25

官方账号阿里通义 Qwen@Alibaba_Qwen

81°

阿里发布 Qwen3.8-27B，单张 Blackwell GPU 即可部署，原生上下文 262K，可扩展至 1M。模型采用与 2.4T 旗舰相同的混合骨干架构，但为 dense 而非 MoE。vLLM 提供 Day-0 支持，内置 MTP 草稿头，短提示词接受率在 BF16 下为 92.2%、FP8 下为 84.8%。在 NVIDIA GB300 上完成端到端验证，支持 BF16/FP8 TP4 与 NVFP4 TP1，工具调用和 1M 上下文生成均正常。

AI模型 Qwen3.8-27B vLLM 长上下文

事件专题

推荐理由：阿里发了能塞进单卡GPU的27B模型，长上下文到1M，vLLM当天就能用。适合想自己部署长上下文开源模型的开发者。

原文

00:24

官方账号阿里通义 Qwen@Alibaba_Qwen

Qwen 3.8-Max已通过Modal平台正式开放使用，模型总参数量达2.4T。该模型采用A95B架构，激活参数为95B，支持完整1M上下文窗口。Modal为模型搭载了自定义DFlash投机解码器，其训练数据以工具调用为主。这是阿里云与Modal合作的首日上线，开发者可直接通过Modal调用该模型。

AI模型 Qwen 3.8-Max Modal 阿里云

推荐理由：Qwen 3.8-Max在Modal上线了，2.4T参数还带1M上下文，工具调用有专属优化，想跑长上下文推理的可以直接去试。

原文

8月13日

17:49

官方账号arXiv cs.AI@Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

精选

一篇arXiv论文提出信息丰裕悖论，认为训练上下文中相关信息过多会降低模型将其参数化编码的动机。预训练阶段扩大上下文窗口虽能提升语言建模、自然语言理解和closed-book MCQA，但只在中间最优值内有效，之后持续下降。监督微调时，更多任务相关上下文虽能提升带支持场景的表现，却削弱了测试时缺少或误导上下文时的鲁棒性。机制分析显示，长上下文将梯度压力从前馈网络转向注意力模块，导致推理时更依赖上下文。结论表明，追求无限上下文并非简单堆数据。

论文长上下文参数化知识上下文学习

推荐理由：这篇论文说长上下文训练反而会让模型记不住知识，上下文越长越依赖临时找资料。想调长上下文的人建议先看看。

原文

8月9日

01:10

官方一手marktechpost@Michal Sutter

Pokee AI发布28B参数纯文本模型Pokee-Isaac 28B，支持1000万token上下文窗口。该模型在RULER基准上于10M长度下取得93.3%，而对比面板中所有基线在超过2M后均为0分。它在BFCL v4工具调用测试中以70.94分领先，并在Terminal-Bench 2.1上排名第二。模型权重不公开，通过VPC、本地或设备端许可部署，定价为每百万token输入0.15美元、输出1.00美元。

AI模型 Pokee-Isaac Pokee AI 长上下文

推荐理由：Pokee AI新出的28B模型能一口气处理千万token，长上下文测试里把同行甩开，还能私有化部署在你自己的服务器上跑。

原文

8月6日

11:39

官方账号arXiv cs.LG@Purbesh Mitra, Sennur Ulukus

该论文提出 Chained Recursive Language Models（Chained RLM），一种推理时架构，让同一个模型以全新上下文被反复调用。每一轮推理接收原始问题和紧凑摘要，而非完整对话历史，通过黑板和工作区传递中间结果。论文描述了系统模型、交接机制、工件工作区及评估协议，并研究了何时使用新鲜上下文的多阶段计算相比直接回答更准确。在需要抽取、计数、排序和多跳推理的任务中，该方法能减少早期错误传播。

论文 Chained RLM 推理模型长上下文

推荐理由：这篇论文把一次长推理拆成多轮小步骤，每一步都能检查修正，适合做长文档问答的人看看。

原文

11:34

官方账号arXiv cs.LG@Indraneil Paul, Falko Helm, Goran Glavaš, Iryna Gurevych

OctoLong 是一条上下文工程流水线，用 AST 解析器、语言服务器后端和包管理器递归检索代码引用，构建数百万 token 的跨仓库代码上下文。研究团队基于 600M 到 14B 参数的基座模型，用约 500 亿 token 混合数据（其中 OctoLong 代码上下文占 62 亿）进行中段训练，随后再做 100 亿 token 指令微调，得到 OctoLong-Instruct 系列。与 18 个开源长上下文模型对比，只需将传统扩展语料替换 12% 为 OctoLong 数据，就在长距离检索、长期状态跟踪、仓库级理解和智能体任务上显著提升。短上下文编码场景下的 API 调用能力也得到增强。

论文 OctoLong 长上下文代码理解

推荐理由：OctoLong 用跨仓库代码上下文训练长上下文模型，替换12%数据就在检索和代码理解上更强，模型已开源。

原文

8月5日

09:56

官方一手arXiv: OpenAI@Shun-ichiro Hayashi, Daichi Mukunoki, Tetsuya Hoshino, Takahiro Katagiri

ATFlash 提出按 RoPE 每个频率分量的波长设定注意力距离窗口，对 Qwen2.5-0.5B 和 Llama-3.2-3B 可剪掉 37%–48% 的 query-key 内积项。与滑窗不同，低频分量仍能访问所有 key，剪枝率与输入无关，闭式复杂度随序列长度 N 对数增长。在 LongBench-v2 上 top-1 匹配率保持 96%–98%，输出分布 KL 在 10^-3 nat 量级；RULER、OpenAI-MRCR、LongCodeQA、∞Bench 分数基本不变。移植到 FlashAttention-4 和 FlashInfer 后，RTX PRO 6000 上 Llama 推理最高提速 1.29 倍（128K），Qwen2.5-7B-1M 在 1M token 上下文剪掉 57% 内积项，端到端提速 1.31 倍。

论文 ATFlash RoPE FlashAttention

事件专题

推荐理由：ATFlash 在 1M token 上下文把 Qwen2.5-7B 提速 1.31 倍，精度不掉，而且能直接叠加现有稀疏方法。

原文

8月4日

12:37

Gary Marcus@GaryMarcus

78°

谷歌Titans团队提出记忆缓存方法，将RNN与Transformer统一为同一框架下的两种设置。该方法通过保存记忆检查点，使RNN的有效记忆随输入长度增长，计算复杂度为O(NL)，介于RNN的O(L)和Transformer的O(L²)之间。在16k针堆测试中，Titans模型的召回得分从21提升至32。该方法可后训练接入，让模型处理超出训练长度的上下文。纯Transformer在原始召回精度上仍占优，但记忆缓存在极低算力下大幅缩小了这一差距。

论文 Titans Transformer RNN

推荐理由：谷歌Titans团队的新方法用记忆缓存把RNN长上下文召回从21提到32，算力还远低于Transformer。

原文

12:10

官方一手arXiv: DeepSeek@Wen Zan, Jiaqi Zhang, Jianchao Tan, Hong Liu, Cunguang Wang, Xiang Li, Duyue Ma, Guanyu Wu, Yifan Lu, Fengcun Li, Yerui Sun, Peng Pei, Yuchen Xie, Xunliang Cai

LongCat Sparse Attention（LSA）提出流式感知索引、跨层索引和分层索引三种策略，解决DeepSeek Sparse Attention的O(L^2)计算开销和内存访问不连续问题。LSA在69B-A3B到560B-A27B规模模型上，与全注意力性能持平。LSA支持原生训练最长100万token的上下文，并支撑LongCat-2.0（1.6T-A48B）的开发。团队开源了LongCat-Flash-Lite-Sparse（69B-A3B）。

AI模型 LongCat DeepSeek Sparse Attention 稀疏注意力

推荐理由：DeepSeek稀疏注意力有个瓶颈，LongCat这套新方案用流式感知和跨层索引把它治了，跑长文本不慢，还开源了个69B模型，可以试试。

原文

12:10

官方账号arXiv cs.LG@Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

72°

LiveMem为预训练全注意力大语言模型引入独立于活动上下文的记忆状态，主注意力路径只保留有界KV窗口。在LongMemEval基准上，LiveMem在对比系统中取得领先总分。即使支持证据已从当前上下文移除，LiveMem仍能依据记忆状态正确作答。证据距离分析表明，有用信息可持久保留在活动窗口之外。

论文 LiveMem LongMemEval 长上下文

推荐理由：论文提出LiveMem，给LLM加了个永久记忆状态，上下文窗口再长也不怕忘事。在LongMemEval上跑分领先，值得一看。

原文

04:59

官方账号NVIDIA AI@NVIDIAAI

精选

NVIDIA在AI Model Co-Design系列中发文指出，长上下文模型的推理速度在训练前就已被架构选择决定。随着上下文窗口扩大，注意力机制在推理成本中的占比快速上升，逐渐成为主要负担。文章梳理了4个决定性能上限的架构参数：group size、head dimension、KV-cache size和并行策略。这些选择同时影响系统吞吐量和单个用户的响应速度。

技巧 NVIDIA 长上下文 KV-Cache

事件专题

推荐理由：NVIDIA这篇博文把长上下文模型变慢的根源讲透了，训练前选对4个架构参数，服务成本能差很多。

原文

8月3日

16:00

官方一手pandaily@contact@pandaily.com (Pandaily)

79°

阿里巴巴发布Qwen3.8-Max正式版，参数量达2.4万亿。该模型支持1M上下文窗口，可执行长时间运行的智能体任务。官方称其编码与办公能力显著提升，跻身全球第一梯队。开源权重预计一周内公布，开发者可下载使用。

AI模型 Qwen3.8-Max Alibaba 智能体

推荐理由：阿里发了Qwen3.8-Max，2.4T参数加1M上下文，做长任务Agent很强，而且下周就开源了，能直接玩。

原文

7月30日

15:32

15:32IT之家（博客/媒体）

微软于7月28日宣布，用户可通过Fireworks AI在Microsoft Foundry部署月之暗面的Kimi K3模型。该模型拥有2.8万亿参数，上下文窗口达100万词元，单次可处理约75万单词。定价方面，输入每百万Token为3.30美元，输出16.50美元，缓存输入0.33美元。Kimi K3是当前最大的开放模型之一。

AI模型 Kimi K3 Fireworks AI Microsoft Foundry

事件专题

推荐理由：Kimi K3来了，2.8万亿参数、百万上下文，还能在微软平台直接部署，开发者可以试试。

原文

7月28日

12:33

官方一手arXiv: DeepSeek@Hong Liu, Yuan Cheng, Lin Niu, Yi Su, Yufei Xue, Anmin Liu, Guanghua Yu, Jianchen Zhu

DeepSeek稀疏注意力（DSA）在生成式系统中实现令牌级稀疏注意力，但索引器仍需对所有前序token打分，复杂度为O(L²)。PIVOT利用附近查询的token重叠性和索引器得分长尾分布，通过共享前缀扫描加速。PIVOT将一组查询聚合成一个代理查询，进行一次全前缀扫描得到候选集，再为每个查询选择top-k。两个变体：PIVOT-Reuse共享代理top-k，PIVOT-Refine重新评分候选集。在DeepSeek-V3.2和GLM-5.1上，在LongBench和RULER基准上，PIVOT匹配精度，索引器加速4倍，端到端延迟降低1.6倍。

论文 PIVOT DeepSeek GLM

推荐理由：PIVOT用共享前缀扫描替代逐查询扫描，加速4倍，端到端延迟降1.6倍，效果不打折。适合长上下文推理场景。

原文

7月27日

23:17

23:17IT之家（博客/媒体）

82°

月之暗面开源了 Kimi K3 模型，参数规模达 2.8 万亿，基于 KDA 混合线性注意力机制和注意力残差技术构建。该模型原生支持视觉理解，拥有 100 万 token 上下文窗口，采用 MoE 架构在 896 个专家中激活 16 个。相比前代 K2，Kimi K3 的扩展效率提升约 2.5 倍，在长程编码、软件工程与视觉推理任务上表现突出。官方评测显示，K3 整体落后于闭源模型 Claude Fable 5 和 GPT-5.6 Sol，但超过了其他所有模型。

AI模型 Kimi K3 月之暗面 MoE

事件专题

推荐理由：月之暗面开源了 2.8 万亿参数的 Kimi K3，MoE 架构效率比 K2 高 2.5 倍，支持 100 万 token 上下文和视觉推理，值得关注。

原文

7月24日

14:44

量子位@衡宇

针对长内容创作中AI容易遗忘上下文的问题，有一款新Agent出场了。它通过主动记忆管理机制，让模型在超长对话中始终记得前面写过的内容。用户不需要任何编程或配置，只要会用键盘打字就能上手。据说这个Agent比单纯依赖长上下文窗口的方案更稳定，尤其适合写小说、编剧、技术文档等场景。

AI产品智能体长上下文内容创作

推荐理由：写长文时AI老是忘东西？这个Agent让你只管打字，它帮你记住所有上下文。

原文

7月23日

11:25

Hunyuan@TXhunyuan

腾讯混元（TencentHunyuan）推出最新模型Hy3，支持256K上下文窗口。该模型已通过OpenCode项目在Go语言文本处理中可用。这是腾讯目前在长上下文领域的最新模型。

AI模型 Hy3 Tencent OpenCode

推荐理由：腾讯刚发了Hy3模型，有256K上下文，还能在Go语言里直接用了，试试看。

原文

11:22

官方账号arXiv cs.AI@Mahdi Heidari, Mohammad Mahdi Rahimi, Jaekyun Moon

ELSAA提出一种结合稀疏和低秩分支的注意力近似方法，避免显式计算完整的N×N注意力矩阵。稀疏分支捕捉高相似度交互，低秩分支压缩全局信息，并通过分母感知融合项平衡两者。该方法旨在支持更长上下文训练，同时保留token级交互和上下文混合能力。在多个长序列基准上验证了其效率与效果。

论文 ELSAA Transformer 注意力机制

推荐理由：这篇论文把稀疏和低秩两种思路拧在一起，解决Transformer的长序列瓶颈。不用算完整的注意力矩阵，就能同时抓住局部和全局信息。

原文

09:55

官方一手arXiv: DeepSeek@Sungrae Park, Sanghoon Kim, Gyoungjin Gim, Jungho Cho, Hyunwoong Ko, Minbyul Jeong, Minjeong Kim, Keunwoo Choi, Chaehun Shin, Chanwoong Yoon, Dongjun Kim, Eunwon Kim, Gyungin Shin, Hyeonju Lee, Hyungkyu Kang, Inseo Song, Jisu Bae, Jiyoon Han, Jiyun Lee, Joonkee Kim, Junyeop Lee, Mikyoung Cha, Sangwon Yu, Sehwan Joo, Seokyoon Kang, Seonghoon Yang, Seung Shin, Seunghyun Lee, Seungseop Lim, Seungyoun Shin, Sukyung Lee, Taegyeong Eo, Taehwan Oh, Taewhoo Lee, Wonho Song, Wonjun Oh, Wonseok Hwang, Yunsu Kim, Yura Shim, Hwalsuk Lee, Sunghun Kim, Du-Seong Chang, Kyunghyun Cho, Seungju Han, Yejin Choi, Junsuk Choe, Hwaran Lee, Minjeong Ban, Yun Taewon, Hwanjun Song, Jae-Gil Lee, KyungTae Lim, Alice Oh

Solar Open 2 是一个 250B 参数（15B 激活）的混合专家（MoE）语言模型，上下文窗口达 1M token。它采用混合注意力机制，每 3 层线性注意力插入 1 层 softmax，无位置编码。训练上，从 Solar Open 1 初始化 5.69B 参数共享骨架，并通过质量与稀有度感知的数据筛选将 20T 语料缩减为 10T 以提升效率。通过多教师同策略蒸馏（MOPD）融合 12 个领域专家。在 MMLU-Pro、LiveCodeBench 和 APEX-Agents 上领先，韩语基准平均最高，Ko-GDPval 上以不到 1/6 参数量与 DeepSeek-V4-Pro (1.6T) 竞争。

AI模型 Solar Open 2 MoE 长上下文

事件专题

推荐理由：Solar Open 2 发了，250B MoE 模型，1M token 超长上下文，专门跑复杂智能体任务。MMLU-Pro 和 LiveCodeBench 都领先，韩语能力还特别强，比 DeepSeek-V4-Pro 小很多但性能接近。

原文

7月22日

12:34

AI Will@FinanceYF5

杨植麟指出，许多AI实验室如Claude过于关注模型本身，而忽视组织结构的重要性。Moonshot通过K3模型验证了这一理念：故意售罄所有套餐，而非限制现有用户的使用量。相比之下，Anthropic在4月高峰期将用户使用量削减50%。他提出长上下文是AI时代的RAM，将128K到GB的跳跃压缩为2年而非40年。

行业 Kimi Moonshot AI K3

事件专题

推荐理由：Kimi CEO亲自拆解为什么组织比模型更重要，还提到了K3、长上下文和Anthropic的对比，挺有意思的行业视角。

原文

7月18日

20:25

官方账号vLLM@vllm_project

83°

Kimi Moonshot 发布新模型 Kimi K3，并将 KDA 前缀缓存实现直接贡献给 vLLM。KDA 突破了传统前缀缓存的假设，可提升长上下文服务的效率。vLLM 将在发布当天（July 27, 2026）开放权重时同步支持 K3 模型。该合作确保了社区从第一天起就能高效使用长上下文推理。

AI模型 Kimi K3 vLLM KDA前缀缓存

事件专题

推荐理由：Kimi 和 vLLM 合作搞了个新缓存方案，K3 模型上来就能高效处理长文本，开源权重明年7月放出来。

原文

7月17日

16:25

AI Will@FinanceYF5

精选76°

Kimi K3是一个具有2.8万亿参数和100万上下文窗口的原生多模态开放模型。其Kimi Delta Attention机制在百万Token解码速度最高提升6.3倍。Attention Residuals使训练效率提升约25%，额外成本低于2%。该模型面向长周期Agentic Coding和自我进化工作流。

AI模型 Kimi K3 Kimi 多模态

事件专题

推荐理由：月之暗面发了Kimi K3，2.8万亿参数还支持原生多模态，解码快6倍，写代码和长文处理很强。

原文

13:49

AI Will@FinanceYF5

精选71°

Kimi K3 发布，参数规模达 2.8 万亿，支持 100 万 token 上下文和原生多模态。采用 Kimi Delta Attention 机制，百万 token 上下文中解码速度提升 6.3 倍。Attention Residuals 使训练效率提升约 25%，额外成本低于 2%。在 Online Exp、DECK-Bench、Finance-Bench 三项内部跑分中全面超过 Opus 4.8 和 GPT-5.5。该模型面向长周期 Agentic Coding 和自我进化工作流。

AI模型 Kimi K3 Opus 4.8 GPT-5.5

事件专题

推荐理由：Kimi 新模型 K3 跑分赢了 Opus 4.8 和 GPT-5.5，2.8 万亿参数还带百万上下文，解码快到飞起，技术细节值得细看。

原文

12:14

AI Will@FinanceYF5

82°

Kimi K3模型正式发布，拥有2.8万亿参数、100万Token上下文窗口，并支持原生多模态处理。其Kimi Delta Attention技术可在百万Token上下文中将解码速度提升最高6.3倍。Attention Residuals机制将训练效率提升约25%，额外成本控制在2%以内。该模型主要面向长周期Agentic Coding和自我进化工作流。

AI模型 Kimi K3 Kimi 多模态

事件专题

推荐理由：Kimi出了K3，2.8万亿参数还有百万级上下文，解码速度快了6倍多，做长代码任务很合适。

原文

09:41

官方账号arXiv cs.AI@Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle

研究者提出分层全局注意力（HGA），结合分段反向传播和分层KV存储，仅保留当前段在VRAM中可微分，历史KV卸载到RAM或NVMe。在Qwen3-8B上使用4位QLoRA，PG19数据集，16GB Quadro RTX 5000上HGA达到16384训练长度，峰值显存15.28GB，而密集训练仅支持2048令牌。相同适配器可处理131072令牌推理。2K训练长度下，HGA与密集训练困惑度分别为2.7405和2.7383 nat，基线模型为2.9541；HGA训练速度略快（217.75 vs 207.02 tokens/s）。

AI模型 Qwen3-8B HGA 长上下文

推荐理由：Qwen3-8B长上下文微调显存不够？HGA方案在16GB卡上跑16384令牌，比密集训练省显存还快一点，代码正在路上。

原文

09:22

官方账号arXiv cs.LG@Changhai Zhou, Kieran Liu, Yuhua Zhou, Qian Qiao, Jun Gao, Harry Zhang, Irvine Lu, Nolan Ho, Lucian Li, Andrew Lei, Cleon Cheng, Steven Chiang, Yihang Zeng, Di Zhang, Rio Yang, Kaijie Chen, Andrew Chen, Pony Ma, Weizhong Zhang, Cheng Jin

LongStraw 是一种针对百万token级别强化学习后训练的架构感知执行栈，基于 GRPO 实现，在固定 GPU 预算下运行。它通过共享提示无自动求导评估、仅保留模型特定状态并逐次重放短响应分支，将实时训练图缩小以换取重放时间。在 8 块 H20 GPU 上，LongStraw 完成了 2.1M 位置的分组 Qwen 评分和响应反向传播；分组数从 2 增至 8 时，峰值显存仅增加 0.21 GB。在 32 块 H20 GPU 上，端到端执行路径验证了 GLM-5.2 全部 78 层的 2.1M token 提示处理能力。这些实验证明了执行容量，但完整训练正确性尚未全面验证。

论文 LongStraw GRPO Qwen

推荐理由：LongStraw 能让你在固定 GPU 预算下做百万 token 级别的强化学习后训练，比现有 256K 的方法多处理 8 倍上下文，而且内存增长极低。

原文

06:48

06:48IT之家（博客/媒体）

73°

月之暗面于7月16日发布Kimi K3模型，参数规模达2.8万亿，支持100万tokens上下文，面向长程编程与知识工作。价格方面，缓存命中输入每百万tokens 2元，未命中20元，输出100元。架构基于Kimi混合线性注意力机制和注意力残差技术，原生支持视觉理解。在Frontend Code Arena基准测试中，Kimi K3以1679分超越Claude Fable 5登顶，并在7个领域中的6个获得第一。