AITOP

长上下文

共 108 条相关 AI 资讯
7月7日
02:58
02:58官方账号Decoder@Matthias Bastian
Zhipu AI发布ZCode开发环境，集成GLM-5.2模型，主打长上下文能力处理复杂编程任务。新客户可免费试用5天，每天最多500万token。订阅用户到2026年7月可获得约1.5倍token配额。该产品以显著低于Claude Code和OpenAI Codex的价格参与竞争，目标用户为开发者。
AI产品ZCodeGLM-5.2Zhipu AI
事件专题
推荐理由：ZCode搭载GLM-5.2，长上下文搞定复杂编码，价格只有Claude Code和Codex的零头，还送5天500万token试试水。
原文
7月6日
11:00
11:00Geek@geekbb
精选
小红书团队开源了一个高效长上下文LLM服务框架。该框架通过注意力头分类和分段式KV缓存策略，将长上下文大模型推理的预填充FLOPs降低约50%-70%。同时保持接近无损的精度。代码已在GitHub上开源。
AI模型小红书长上下文LLM推理
推荐理由：小红书开源了一个长上下文LLM推理框架，用注意力头分类和分段缓存把预填充算力省掉一半多，精度基本没损失，适合超长文本场景。
原文
7月3日
10:03
7月1日
09:43
6月30日
16:05
16:05官方一手pandaily@contact@pandaily.com (Pandaily)
精选
华为开源了92B参数的openPangu-2.0-Flash模型，上下文窗口达512K tokens。该模型原生适配昇腾AI开发生态，可在Ascend硬件上高效运行。这是华为在开源大模型领域的重要动作，为开发者提供了新的选择。
AI模型openPangu-2.0-FlashHuaweiAscend
事件专题
推荐理由：华为开源了92B参数的openPangu-2.0-Flash，512K上下文挺大，而且专为昇腾优化，做国产AI开发的同学可以试试。
原文
12:48
6月29日
13:49
6月24日
09:43
09:43官方一手arXiv: DeepSeek@Fengfeng Liang, Yuechen Zhang, Jiaya Jia
精选
Block-GTQ是一种针对RoPE注意力机制的KV缓存量化位分配方法，基于TurboQuant-MSE构建。它在每个层和注意力头上计算RoPE块的能量得分，通过贪心分配整数位宽。在2和3比特每维度仅量化键的实验中，Block-GTQ在10个模型上使每层平均绝对误差降低32-80%，并赢得全部367个层比较。在Llama-3.1-8B-Instruct上以K2V2配置，NIAH六任务平均从70.6提升至97.4，LongBench英文平均从36.87提升至53.31。在DeepSeek-R1-Distill-Qwen-7B上以K3V2配置，AIME 2024/2025得分51.7/37.5，接近fp16的54.2/37.9，而均匀量化降为0.0/0.0。在H800上对Qwen2.5-3B-Instruct实现3.24倍压缩，128K上下文比fp16 FlashAttention2快1.34倍，峰值内存从56.31GB降至19.85GB。
论文Block-GTQRoPEKV缓存量化
推荐理由：这篇论文用RoPE感知的位分配方案，在KV缓存量化上显著提升长上下文检索和推理，效果逼平fp16，值得研究量化的朋友细读。
原文
6月23日
14:40
6月19日
18:41
18:41官方账号Together AI@togethercompute
精选
Zai_org 推出其最新旗舰开源模型 GLM-5.2，支持 1M token 长上下文，可灵活调整推理思考力度。该模型在智能体编程任务上表现更强，现已通过 Together AI 提供推理服务，专为长上下文和工具密集型智能体工作负载优化。
AI模型GLM-5.2Zai_orgTogether AI
推荐理由：GLM-5.2 支持百万级上下文，还能控制推理深度，搞智能体编程和复杂工具链的可以试试。Together AI 上直接用。
原文
04:25
04:25官方账号Clement Delangue@ClementDelangue
精选
Poolside 发布了其最新模型 Laguna M.1，拥有 256K 上下文长度。该模型采用 Apache 2.0 许可，权重已开放至 Hugging Face。包括基础版和微调版检查点可供下载。
AI模型PoolsideLaguna M.1Hugging Face
事件专题
推荐理由：Poolside 把最强的 Laguna M.1 模型完全开放了，256K 上下文，Apache 2.0 许可，直接去 Hugging Face 下载权重用。
原文
6月17日
23:33
23:06
23:06官方账号LMSYS Org (SGLang)@lmsysorg
精选
Zai_org 发布了新旗舰模型 GLM-5.2，支持 1M token 长上下文。在 Terminal-Bench 2.1 上，GLM-5.2 得分 81.0，相比 GLM-5.1 的 62.0 提升明显。IndexShare 机制在 1M 上下文下将每 token 的 FLOPs 降低了 2.9 倍，改进的 MTP 将投机解码接受率提升了 20%。该模型在 SGLang 中已获得即日支持。
AI模型GLM-5.2Zai_orgSGLang
推荐理由：Zai_org 的 GLM-5.2 来了，1M 长上下文拿下了 81.0 的 Terminal-Bench 分数，比上一代高出一截，而且推理效率也优化了，值得上手试试。
原文
11:55
11:36
11:36量子位@十三
智谱AI于2026年6月开源了GLM-5.2模型，支持1M上下文长度。该模型在AI编程评测基准上取得第一，超过此前领先的Fable-5。基于GLM架构的持续优化，GLM-5.2在代码生成任务中展现出更强能力。开源版本已发布在GitHub。
AI模型GLM-5.2智谱编程助手
事件专题
推荐理由：智谱开源了GLM-5.2，1M超长上下文，编程能力直接拿下第一，想换编程模型的话可以试试。
原文
08:45
04:01
03:49
02:17
6月16日
12:23
12:23官方账号arXiv cs.LG@Mufei Li, Shikun Liu, Dongqi Fu, Haoyu Wang, Yinglong Xia, Hong Li, Hong Yan, Pan Li
KVEraser是一种面向大语言模型KV缓存的编辑方法，旨在高效擦除已处理上下文中的指定片段。该论文提出，直接擦除会导致全局影响，需重新计算后续所有token，成本高昂。KVEraser通过两阶段训练（通用跨度-邻居预训练和任务微调），仅替换被擦除区间的KV状态，保留其余缓存。在1K至32K上下文长度的域内任务中，KVEraser的擦除后性能接近完全重计算，延迟仅增加24%，而完全重计算延迟增加17.6倍。在未见过的长文档问答任务中，KVEraser在有害事实干扰下比近似基线表现更好，速度比完全重计算快3至4倍。
论文KVEraserKV缓存上下文擦除
推荐理由：这篇论文提出KVEraser，能快速从大模型KV缓存中擦除指定内容，不用全部重算，1K-32K长度下延迟只增24%，效果接近重算，适合长上下文场景。
原文
6月15日
14:13
6月14日
16:18
6月12日
22:52
22:52官方账号NVIDIA AI@NVIDIAAI
MiniMax 团队发布了 MiniMax M3，这是一个支持文本、图像和视频推理的长上下文多模态模型。模型采用稀疏注意力机制，总参数量约 428B，激活参数仅约 23B，在保持高性能的同时大幅降低了计算成本。该模型已开源权重，可在 Hugging Face 获取，并可通过 NVIDIA 的 GPU 加速端点免费试用。M3 的长上下文能力使其在处理视频、长文档等场景中具有优势。
AI模型MiniMaxM3多模态模型
事件专题
推荐理由：多模态推理模型终于有了高效的开源选择——MiniMax M3 用 23B 激活参数实现长上下文多模态推理，做视频分析或长文档处理的团队可以直接在 NVIDIA 端点免费试，值得关注。
原文
12:32
09:13
09:13官方账号arXiv cs.AI@Xunhao Lai, Weiqi Xu, Yufeng Yang, Qiaorui Chen, Yang Xu, Lunbin Zeng, Xiaolong Li, Haohai Sun, Haichao Zhu, Vito Zhang, Pengyu Zhao
精选
MiniMax 提出了一种名为 MiniMax Sparse Attention (MSA) 的块级稀疏注意力机制，旨在解决大语言模型在超长上下文（百万级 token）下的计算瓶颈。MSA 基于分组查询注意力（GQA），通过轻量级索引分支对键值块进行评分，并为每个 GQA 组独立选择 Top-k 子集，实现高效的组级稀疏检索。在 109B 参数的多模态模型上，MSA 在 1M 上下文长度下将每 token 注意力计算量减少 28.4 倍，并在 H800 GPU 上实现 14.2 倍预填充和 7.6 倍解码加速。该方法的推理内核已开源，同时发布了基于 MSA 的生产级多模态模型。
论文稀疏注意力长上下文推理加速
推荐理由：做长上下文推理或 agent 工作流的开发者，终于有了一个能直接部署的稀疏注意力方案——MSA 在 109B 模型上实现 28 倍计算缩减，且内核已开源，值得立刻试跑。
原文
07:01
00:24
00:24官方账号SiliconFlowAI@siliconflowai
精选
Google DeepMind 的 Gemma 4 12B 模型已在 SiliconFlow 平台上线，支持 262K 上下文、内置思考、原生工具调用及 140+ 语言。该模型采用无编码器架构，视觉和音频输入直接进入 LLM 主干，降低处理延迟。12B 参数规模但拥有 26B 的“大脑”性能，接近 Google 26B 模型的表现，在多步推理和智能体工作流中表现出色。定价为输入/输出每百万 tokens 0.1/0.3 美元，性价比突出。
AI模型Gemma 4智能体多模态
事件专题
推荐理由：做智能体、长上下文或多模态应用的开发者终于有了一个模型搞定三件事的选择——Gemma 4 12B 在 SiliconFlow 上价格亲民，建议直接上手试试。
原文
6月10日
12:57
12:57AI Will@FinanceYF5
88°
Anthropic 的 Claude 5 Fable 模型在 Stripe 的 5000 万行 Ruby 代码库迁移任务中表现出色，将原本需要整支团队耗时两个月的工作压缩至一天完成。该模型在长任务和复杂场景下优势显著，效率、上下文管理能力全面升级，且 token 使用更高效。测试显示，任务越长越复杂，Fable 5 与其他模型的差距越大。这一成果标志着 AI 在大型代码库工程任务中的实用价值迈上新台阶。
AI产品Claude 5 Fable代码迁移长上下文
事件专题
推荐理由：大型代码库迁移是工程团队的噩梦，Fable 5 把两个月压缩成一天，做后端或基础设施的开发者值得关注——这可能是你未来省下整支团队时间的关键工具。
原文
12:12
12:12官方账号arXiv cs.LG@Albert Gong, Annabelle Michael Carrell, Raaz Dwivedi, Lester Mackey
精选
研究人员提出了一种名为 Express 的新工具，能将非因果注意力近似转换为因果注意力近似，并保持相同的近似保证。结合最先进的 Thinformer 近似，Express 在因果注意力上实现了已知最佳近似误差，仅需 O(s) 内存和 O(s² log²(n)) 压缩开销。该工具通过高效的 I/O 感知 Triton 实现，在长上下文预填充、KV 缓存压缩、长序列解码等场景中显著超越 FlashAttention 2。这解决了语言模型在长序列处理中的四个关键资源瓶颈。
论文注意力近似因果注意力长上下文
推荐理由：做长上下文语言模型推理优化的团队，Express 能同时提升预填充和解码效率，值得直接集成到现有流水线中。
原文
08:12
08:12官方账号Simon Willison’s Weblog（博客/媒体）
88°
Simon Willison 在 Claude Fable 5 发布后第一时间进行了约 5.5 小时的测试。该模型与 Claude Mythos 5 性能相同，但增加了严格的安全护栏，触发时 API 会通知用户并可自动回退到其他模型。Fable 5 拥有 100 万 token 上下文窗口、12.8 万最大输出 token，知识截止于 2026 年 1 月，价格是 Opus 4.8 的两倍。Willison 认为它“感觉很大”，不仅体现在速度和成本上，更在于其知识深度，例如能准确列出他的开源项目。当前挑战已从“模型能做什么”转向“找到它做不了的事”。
AI模型Claude Fable 5Claude Mythos 5安全护栏
事件专题
推荐理由：Claude Fable 5 的“大模型感”让开发者重新思考任务边界——如果你经常用 Claude 处理复杂推理或长上下文任务，这个模型值得一试，但要做好预算准备。
原文
6月9日
10:32
10:32官方一手arXiv: DeepSeek@Yan Wang, Qifan Zhang, Jiachen Yu, Tian Liang, Dongyang Ma, Xiang Hu, Zibo Lin, Chunyang Li, Zhichao Wang, Jia Li, Yujiu Yang, Haitao Mi, Dong Yu
精选72°
FlashMemory-DeepSeek-V4 提出了一种名为 Lookahead Sparse Attention (LSA) 的新型推理范式，通过神经记忆索引器预测未来上下文需求，仅保留关键 KV 块在 GPU 内存中。该架构采用解耦训练策略，将索引器作为独立双编码器训练，无需加载主模型。在 LongBench-v2、LongMemEval 等长上下文评测中，LSA 将物理 KV 缓存压缩至全上下文基线的 13.5%，同时下游准确率平均提升 0.6%。在 50 万 token 极端长度下，物理 KV 缓存开销降低超过 90%，且不损害模型核心推理能力。
论文稀疏注意力长上下文KV缓存压缩
推荐理由：LSA 解决了超长上下文推理的 GPU 内存瓶颈，做长文档分析或大规模序列建模的团队可以直接参考其稀疏注意力方案，显著降低部署成本。
原文
6月8日
09:35
09:35官方账号arXiv cs.AI@Zhixuan Liang, Yuxiao Chen, Yurong You, Peter Karkus, Wenhao Ding, Boyi Li, Alexander Popov, Yan Wang, Maximilian Igl, Yiming Li, Danfei Xu, Nikolai Smolyanskiy, Boris Ivanovic, Ping Luo, Marco Pavone
针对自动驾驶中视觉-动作模型处理长时序上下文时计算开销过大的问题，本文提出 COMPACT-VA 框架。它基于条件 VQ-VAE 实现规划对齐的令牌压缩，将扩展上下文压缩为有限表示，同时保留决策关键信息。该方法在训练时利用未来轨迹蒸馏规划意图，推理时从压缩观测中预测意图，并与压缩记忆拼接后输入策略网络进行端到端优化。在动态场景下，COMPACT-VA 在相同令牌预算下成功率提升超 6%，并实现 3.3 倍加速和 2.7 倍内存缩减。
论文自动驾驶令牌压缩VQ-VAE
推荐理由：自动驾驶长上下文处理的计算瓶颈终于有了架构兼容的解决方案——COMPACT-VA 无需修改骨干网络即可压缩令牌，做端到端自动驾驶的团队值得关注其 3.3 倍加速效果。
原文
6月5日
12:06
12:06官方账号arXiv cs.AI@Yutao Sun, Yanqi Zhang, Li Dong, Jianyong Wang, Furu Wei
精选
本文提出跨层稀疏注意力（CLSA），一种基于KV共享架构（如YOCO）的新方法。核心创新在于不仅共享KV缓存，还共享路由索引——单个索引器计算一次token级top-k选择，结果跨层复用，既保留了细粒度选择性，又分摊了路由开销。实验显示，在128K上下文下，CLSA实现最高7.6倍解码加速和17.1倍整体吞吐提升，同时保持模型质量。这为长上下文LLM提供了一种兼顾效率与质量的架构方案。
论文稀疏注意力长上下文推理加速
推荐理由：长上下文推理的瓶颈终于有了系统级解法——CLSA通过共享路由索引同时加速预填充、缓存和解码，做LLM推理优化的团队值得看看这个架构思路。
原文
05:48
05:48官方一手marktechpost@Asif Razzaq
83°
NVIDIA 发布了 Nemotron 3 Ultra，一个 550B 总参数（55B 激活）的开放混合专家模型，采用 Mamba-Transformer 混合架构。该模型支持 100 万 token 的上下文窗口，推理吞吐量比同等精度的开放 LLM 高约 6 倍。NVIDIA 同时开源了模型权重、训练数据和配方，遵循 OpenMDW-1.1 许可。这一发布旨在解决长时运行智能体在推理效率和上下文长度上的瓶颈，为 AI 代理和复杂任务自动化提供了更高效的基础模型。
AI模型NVIDIANemotron 3 Ultra混合专家模型
事件专题
推荐理由：长时智能体开发者终于有了一个兼顾超长上下文和高推理效率的开放模型——Nemotron 3 Ultra 的 6 倍吞吐量提升能显著降低部署成本，做 Agent 或 RAG 系统的团队值得直接试。
原文
6月4日
10:02
10:02官方一手pandaily@contact@pandaily.com (Pandaily)
精选76°
中国科学技术大学（USTC）研究人员开源了一种创新的智能体驱动长上下文训练范式，该范式通过智能体引导的数据生成和训练策略，显著提升了长上下文处理效率。实验表明，一个30亿参数的模型在长上下文任务上达到了与阿里巴巴Qwen3-235B模型相当的性能，而参数量仅为后者的八分之一。这一突破降低了长上下文模型训练的门槛，为资源有限的团队提供了高效方案。该范式已开源，有望推动长上下文AI应用的普及。
论文长上下文智能体开源/仓库
推荐理由：中科大用30B模型打平235B的长上下文能力，做长上下文训练的团队可以直接复用这套开源范式，省下大量算力和数据成本。
原文
01:21
6月3日
12:49
12:49rohanpaul_ai@rohanpaul_ai
一篇新论文提出Self-Pruned Key-Value Attention方法，让大语言模型在长文本生成时只保留对后续token有用的历史键值对，从而大幅压缩KV缓存。该方法通过一个小型预测器为每个键值对打分，只保留高分项，同时确保最近token始终保留。模型在训练时通过正常的next-token预测学习剪枝策略，无需手工规则。实验表明，模型通常只保留10%到33.7%的旧键值对，性能接近全注意力，解码速度在长上下文场景下提升2.1到4.6倍。
论文KV缓存长上下文注意力机制
推荐理由：KV缓存是长上下文推理的瓶颈，这篇论文用自学习剪枝解决了内存爆炸问题，做LLM推理优化或长文本应用的开发者可以直接参考其方法。
原文
04:40
04:40官方账号Together AI@togethercompute
76°
MiniMax-M3 是一款结合了 1M 上下文窗口、原生多模态能力和 MiniMax 稀疏注意力机制的新模型。Together 的推理和内核团队通过 KV-block-major 稀疏注意力、分页 MSA 解码、优化索引评分以及 GPU 工作前的多模态预处理，将常见智能体流量下的吞吐量提升了 81-125%。该模型在长上下文和多模态任务上表现出色，适合需要处理大量信息和多种数据类型的应用场景。
AI模型MiniMax-M3稀疏注意力多模态
事件专题
推荐理由：做长上下文和多模态应用的团队可以关注——MiniMax-M3 的稀疏注意力优化让吞吐量提升显著，直接降低推理成本，值得一试。
原文
6月2日
04:47
04:47官方一手marktechpost@Asif Razzaq
78°
MiniMax 正式发布新一代大模型 MiniMax M3，采用自研的 MiniMax Sparse Attention（MSA）架构，支持高达 100 万 token 的超长上下文窗口。该模型原生支持图像、视频理解以及计算机使用（computer use）能力，并具备智能体编程（agentic coding）功能。MSA 架构通过稀疏注意力机制显著降低长序列计算成本，使得处理百万级 token 成为可能。这标志着国产大模型在长上下文和多模态融合方面迈出了重要一步，为复杂文档分析、视频理解和自动化编程等场景提供了新的基础设施。
AI模型MiniMaxM3MSA架构
推荐理由：MiniMax M3 的 1M 上下文和原生多模态能力直接解决了长文档分析和视频理解的痛点，做 RAG 应用或自动化编程的团队值得关注其 agentic coding 特性。
原文
6月1日
18:53
18:53岚叔@lufzzliz
精选76°
MiniMax 发布新一代旗舰模型 M3，面向 coding agent、长上下文和多模态任务。M3 支持 1M 上下文，核心技术创新是 MiniMax Sparse Attention (MSA)，通过稀疏注意力将 KV 分块并精确选取相关块，大幅降低长上下文计算成本。在 1M 上下文下，每 token 计算量仅为上一代的 1/20，prefill 提速 9 倍以上，decode 提速 15 倍以上。M3 支持文本、图片、视频输入，将长上下文、工具调用、多模态理解和持续执行能力整合，明确押注 agentic coding 场景。
AI模型MiniMax-M3稀疏注意力长上下文
事件专题
推荐理由：M3 的稀疏注意力解决了长上下文推理的成本痛点，做 coding agent 和自动化任务的开发者可以直接关注——1M 上下文下计算量骤降 95%，意味着更长的任务链也能跑得动。
原文