MiniMax 发布 M3 模型：MSA 架构、1M 上下文、原生多模态与智能体编程
MiniMax M3 的 1M 上下文和原生多模态能力直接解决了长文档分析和视频理解的痛点，做 RAG 应用或自动化编程的团队值得关注其 agentic coding 特性。
#长上下文
共 151 条 · 7 天 7 条 · 30 天 30 条
6月2日
6月1日
MiniMax-M3 发布：1M上下文+稀疏注意力，押注Agentic Coding
M3 的稀疏注意力解决了长上下文推理的成本痛点，做 coding agent 和自动化任务的开发者可以直接关注——1M 上下文下计算量骤降 95%，意味着更长的任务链也能跑得动。
MiniMax 发布 M3 模型：1M 上下文窗口与原生多模态
MiniMax M3 将 1M 上下文、多模态和智能体能力打包进一个模型，做长文本处理或多模态应用的开发者可以直接用它替代多个模型组合，省心又高效。
MiniMax M3 发布：1M 上下文、稀疏注意力、原生多模态
MiniMax M3 把长上下文、稀疏注意力和多模态融合做到了一个模型里，而且计算效率大幅提升，做 Agent 开发、多模态应用或长文档处理的团队可以直接用 API 试试，价格也很友好。
MiniMax-M3 上线 OpenRouter：1M 上下文 + 原生多模态
MiniMax-M3 把长上下文、强编码和多模态塞进一个开源模型里，做复杂智能体或长文档处理的团队可以直接在 OpenRouter 上试，省去自己部署的麻烦。
5月29日
NVIDIA 发布 Step 3.7 Flash：198B MoE 模型，11B 活跃参数，256K 上下文
198B 参数但仅 11B 活跃，推理效率极高，做多模态应用或长文档处理的团队可以直接在 NVIDIA 平台试用，省成本又省心。
5月28日
华为芯片设计突破、阿里长上下文优化、DeepSeek架构策略、Meta智能体代码层、Anthropic警告AI失业、xAI发布Grok Build
芯片开发者、长上下文研究者、智能体实践者都能从中找到硬核洞察——华为的突破可能重塑竞争格局，阿里论文直接解决长文本推理痛点，DeepSeek的架构思路值得借鉴。建议花5分钟扫读，挑与自身领域相关的深度内容细看。
RepoPrompt 作者被 OpenAI 招安，软件免费并即将开源
RepoPrompt 解决了将整个代码仓库高效喂给大模型的痛点，做 AI 编程或代码审查的开发者现在可以免费使用，而且即将开源，值得关注后续社区版本。
5月27日
MiniMax M3 即将发布，1M上下文速度提升10倍以上
MiniMax M3用动态稀疏注意力把1M上下文的算力成本打下来了，做长上下文Agent的开发者可以直接关注，这可能是让百万token任务真正落地的关键突破。
论文01:37
长上下文AI易被少量误导信息毒害：第一滴墨水效应做长上下文AI应用或RAG系统的团队，这个发现会颠覆你对上下文管理的认知——不是堆更多文档就能提升效果，少而精才是关键，建议点开看看具体实验数据。
5月26日
Transformer 也需要睡眠：周期性记忆巩固机制提升长程推理
这项研究给长上下文推理带来了新思路——用类似睡眠的离线巩固机制解决注意力瓶颈，做长链推理或复杂数学问题的开发者值得关注，尤其适合处理超长上下文的场景。
Together AI 开源 OSCAR：2-bit KV 缓存量化系统，长上下文 LLM 推理提速 3 倍
长上下文 LLM 推理的内存瓶颈终于有了实用解法——OSCAR 在 2-bit 量化下几乎不损失精度，做长文档/多轮对话推理的团队可以直接集成，显著降低硬件成本。
5月25日
5月22日
Gated DeltaNet-2：解耦线性注意力中的擦除与写入门控
线性注意力研究者终于有了更精细的门控机制——Gated DeltaNet-2把擦除和写入分开控制，做高效长序列建模的团队可以直接复现并对比效果。
阿里Qwen3.7-Max发布：1M上下文，专为智能体时代打造
做智能体应用的开发者终于有了一个原生支持长上下文和自主决策的旗舰模型，1M上下文窗口直接解决复杂任务中的记忆瓶颈，建议在Together上试试生产级部署。
5月20日
GoLongRL：面向长上下文的强化学习训练方案，开源数据集与TMN-Reweight方法
长上下文 RL 训练的数据构建和奖励设计一直是个难题，GoLongRL 提供了开源数据集和优化方法，做长上下文模型训练的团队可以直接复用，省去大量数据构造工作。
5月19日
DashAttention：可微分自适应稀疏分层注意力，长上下文建模新方法
长上下文 LLM 的推理成本一直是痛点，DashAttention 用可微分稀疏注意力在保持精度的同时大幅提速，做长文本推理和模型优化的研究者值得关注。
5月17日
5月16日
Codex 长上下文卡顿？用 handoff 技能压缩对话提速
Codex 重度用户终于有了应对长上下文卡顿的实战技巧——handoff 压缩对话再开新 session，比硬扛自动压缩快很多，做复杂自动化任务的开发者可以直接抄作业。
5月15日
InsightReplay：通过洞察回放解决长链推理注意力衰减问题
长链推理的注意力衰减问题终于有了针对性解法，做推理模型优化或长上下文应用的团队值得关注——InsightReplay简单有效，可以直接在现有CoT框架上尝试。
5月14日
DeepSeek-V4 Preview 正式发布并开源，支持 1M 上下文
长上下文和低成本是当前 AI 应用的两大痛点，DeepSeek-V4 同时解决这两个问题，做 RAG、文档分析或长对话的开发者可以直接上手试试。
5月12日
DeepSeek V4 Pro上线Together AI，长上下文推理与编程性能领先
DeepSeek V4 Pro在长上下文推理和编程任务上的表现达到SOTA，同时其高效服务技术栈的公开分析对AI部署实践有重要参考价值。