13:49Together AI@togethercomputeGLM-5.2模型已在Together AI平台上架,并通过OpenRouter快速提供服务。Together AI优化推理路径,使模型在长上下文编码和智能体工作负载中每GPU能处理更多token,同时保持低延迟。该模型展现出强劲性能,适合需要高吞吐的复杂任务。AI模型GLM-5.2Together AIOpenRouter推理模型长上下文推荐理由:GLM-5.2跑得快,长上下文和智能体场景下Together的优化让token更多更流畅,试试看。原文
09:43arXiv: DeepSeek@Fengfeng Liang, Yuechen Zhang, Jiaya Jia精选Block-GTQ是一种针对RoPE注意力机制的KV缓存量化位分配方法,基于TurboQuant-MSE构建。它在每个层和注意力头上计算RoPE块的能量得分,通过贪心分配整数位宽。在2和3比特每维度仅量化键的实验中,Block-GTQ在10个模型上使每层平均绝对误差降低32-80%,并赢得全部367个层比较。在Llama-3.1-8B-Instruct上以K2V2配置,NIAH六任务平均从70.6提升至97.4,LongBench英文平均从36.87提升至53.31。在DeepSeek-R1-Distill-Qwen-7B上以K3V2配置,AIME 2024/2025得分51.7/37.5,接近fp16的54.2/37.9,而均匀量化降为0.0/0.0。在H800上对Qwen2.5-3B-Instruct实现3.24倍压缩,128K上下文比fp16 FlashAttention2快1.34倍,峰值内存从56.31GB降至19.85GB。论文Block-GTQRoPEKV缓存量化长上下文量化推荐理由:这篇论文用RoPE感知的位分配方案,在KV缓存量化上显著提升长上下文检索和推理,效果逼平fp16,值得研究量化的朋友细读。原文
14:40marktechpost@Sana Hassan精选71°本文通过GLM-5.2的OpenAI兼容API搭建了完整工作流,包括安全加载API密钥和创建可复用聊天封装。演示了思考努力控制、流式推理、函数调用以及工具使用代理的实现。还展示了结构化JSON输出和长上下文检索功能,并记录了token消耗与成本核算。技巧GLM-5.2推理模型函数调用长上下文8 个信源在谈推荐理由:这篇教程手把手教你用GLM-5.2 API实现推理控制、函数调用和检索,代码可直接复用。原文
18:41Together AI@togethercompute精选Zai_org 推出其最新旗舰开源模型 GLM-5.2,支持 1M token 长上下文,可灵活调整推理思考力度。该模型在智能体编程任务上表现更强,现已通过 Together AI 提供推理服务,专为长上下文和工具密集型智能体工作负载优化。AI模型GLM-5.2Zai_orgTogether AI智能体长上下文推荐理由:GLM-5.2 支持百万级上下文,还能控制推理深度,搞智能体编程和复杂工具链的可以试试。Together AI 上直接用。原文
04:25Clement Delangue@ClementDelangue精选Poolside 发布了其最新模型 Laguna M.1,拥有 256K 上下文长度。该模型采用 Apache 2.0 许可,权重已开放至 Hugging Face。包括基础版和微调版检查点可供下载。AI模型PoolsideLaguna M.1Hugging Face开源模型长上下文2 个信源在谈推荐理由:Poolside 把最强的 Laguna M.1 模型完全开放了,256K 上下文,Apache 2.0 许可,直接去 Hugging Face 下载权重用。原文
23:33marktechpost@Asif Razzaq精选MiniMax 发布 Sparse Attention (MSA) 机制,基于 Grouped Query Attention (GQA) 架构。MSA 包含一个轻量级索引分支,为每个查询和 GQA 组选择 Top-k 键值块;主分支仅关注这些块。在 1M 上下文长度下,每个 token 的注意力计算量减少 28.4 倍。该机制训练在 109B 参数的 MoE 模型上,使用 3T token 预算,下游基准测试中与 GQA 性能相当。AI模型MiniMaxMSA稀疏注意力长上下文推荐理由:MiniMax 搞了个新稀疏注意力 MSA,1M 上下文计算量降 28 倍,准度却一点没掉,适合长文本场景。原文
23:06LMSYS Org (SGLang)@lmsysorg精选Zai_org 发布了新旗舰模型 GLM-5.2,支持 1M token 长上下文。在 Terminal-Bench 2.1 上,GLM-5.2 得分 81.0,相比 GLM-5.1 的 62.0 提升明显。IndexShare 机制在 1M 上下文下将每 token 的 FLOPs 降低了 2.9 倍,改进的 MTP 将投机解码接受率提升了 20%。该模型在 SGLang 中已获得即日支持。AI模型GLM-5.2Zai_orgSGLang长上下文推理模型推荐理由:Zai_org 的 GLM-5.2 来了,1M 长上下文拿下了 81.0 的 Terminal-Bench 分数,比上一代高出一截,而且推理效率也优化了,值得上手试试。原文
11:55歸藏(guizang.ai)@op741874°智谱 AI 正式发布并开源 GLM-5.2 模型。该模型支持 100 万 token 稳定上下文,并引入思考力度控制能力。架构上采用 IndexShare 机制,每四层稀疏注意力共享 indexer,在百万 token 下将每 token 计算量降低约 2.9 倍。基准测试成绩表现出色,定位处理长周期任务。AI模型GLM-5.2智谱开源模型长上下文推理模型推荐理由:智谱 GLM-5.2 开源了,百万上下文还能省 2.9 倍算力,做长任务的朋友可以上手试试。原文
11:36量子位@十三智谱AI于2026年6月开源了GLM-5.2模型,支持1M上下文长度。该模型在AI编程评测基准上取得第一,超过此前领先的Fable-5。基于GLM架构的持续优化,GLM-5.2在代码生成任务中展现出更强能力。开源版本已发布在GitHub。AI模型GLM-5.2智谱编程助手开源模型长上下文10 个信源在谈推荐理由:智谱开源了GLM-5.2,1M超长上下文,编程能力直接拿下第一,想换编程模型的话可以试试。原文
08:45berryxia@berryxiaGLM-5.2 以 MIT 协议免费开源,提供 1M 上下文窗口,重点强化了长程任务的 Agent 能力。在 Coding、Tool use、Reasoning 上相比 GLM-5.1 有明显进步,尤其在需要长时间规划和多步执行的场景。API 价格不变,同时支持 Max 和 High 两种推理模式。社区已在 DeepSWE 等基准上验证其实力,开发者可在本地运行长上下文 Agent。AI模型GLM-5.2开源模型智能体编程助手长上下文推荐理由:智谱开源了GLM-5.2,MIT协议、1M上下文,编程和Agent任务比上一代强不少,还能本地跑,别错过。原文
04:01elvis@omarsar072°Z.ai 宣布推出 GLM-5.2 开源权重模型,MIT 许可发布。其在编码和智能体任务上有显著改进,支持 1M 上下文窗口。提供两种推理等级:GLM-5.2 (max) 和 GLM-5.2 (high),后者在性能与 token 效率间取得平衡。API 定价与 GLM-5.1 相同,权重已上架 Hugging Face。AI模型GLM-5.2Z.ai开源模型编码智能体长上下文推荐理由:Z.ai 发了 GLM-5.2,开源权重、MIT 许可,编码和智能体能力提升明显,还支持 1M 上下文,想玩前沿模型的可以试试。原文
03:49ollama@ollama精选Z.ai 发布 GLM-5.2,支持 1M token 上下文窗口,专为长程编码和智能体任务设计。提供两种推理模式:GLM-5.2 (max) 和 GLM-5.2 (high),权重以 MIT 许可开源。现已通过 Ollama 云服务在美国 NVIDIA Blackwell GPU 上可用,API 定价与 GLM-5.1 相同。该模型声称是目前最强开源编码模型。AI模型GLM-5.2Z.aiOllama开源模型长上下文10 个信源在谈推荐理由:Z.ai 开源了 GLM-5.2,有 1M 上下文窗口,适合写长代码和搭智能体,在 Ollama 上直接就能用,MIT 许可随便玩。原文
02:17kimmonismus@kimmonismus77°GLM-5.2 以 MIT 许可证开源,权重开放。该模型支持 1M token 上下文窗口。提供 max 和 high 两种推理模式。专门针对大规模部署、自动化研究、性能优化和复杂调试进行训练。API 定价与 GLM-5.1 保持一致。AI模型GLM-5.2智谱开源模型长上下文推理模型推荐理由:智谱开源了 GLM-5.2,1M 上下文还能选推理模式,做长代码任务更强了。原文
12:23arXiv cs.LG@Mufei Li, Shikun Liu, Dongqi Fu, Haoyu Wang, Yinglong Xia, Hong Li, Hong Yan, Pan LiKVEraser是一种面向大语言模型KV缓存的编辑方法,旨在高效擦除已处理上下文中的指定片段。该论文提出,直接擦除会导致全局影响,需重新计算后续所有token,成本高昂。KVEraser通过两阶段训练(通用跨度-邻居预训练和任务微调),仅替换被擦除区间的KV状态,保留其余缓存。在1K至32K上下文长度的域内任务中,KVEraser的擦除后性能接近完全重计算,延迟仅增加24%,而完全重计算延迟增加17.6倍。在未见过的长文档问答任务中,KVEraser在有害事实干扰下比近似基线表现更好,速度比完全重计算快3至4倍。论文KVEraserKV缓存上下文擦除推理效率长上下文推荐理由:这篇论文提出KVEraser,能快速从大模型KV缓存中擦除指定内容,不用全部重算,1K-32K长度下延迟只增24%,效果接近重算,适合长上下文场景。原文
14:13marktechpost@Michal Sutter79°Z.ai 于 2026 年 6 月 13 日发布 GLM-5.2,覆盖所有 GLM Coding Plan 层级。该模型支持 100 万 token 的可用上下文窗口,并提供 High 和 Max 两种思考努力级别。GLM-5.2 通过 Anthropic 兼容端点集成到 Claude Code、Cline 和 OpenClaw 等工具中。发布时未公布基准测试结果,MIT 开源权重预计下周发布。AI模型Z.aiGLM-5.2长上下文推理模型开源模型10 个信源在谈推荐理由:Z.ai 的 GLM-5.2 支持百万token上下文,还能选思考深度原文
16:18Pandaily@contact@pandaily.com (Pandaily)72°智谱AI宣布将GLM-5.2模型以MIT许可证开源,支持100万token上下文长度。此举直接回应美国针对Anthropic模型的出口限制。GLM-5.2在多项基准测试中表现优异,其开源策略旨在推动国内AI生态发展。AI模型GLM-5.2Zhipu AI开源模型长上下文MIT许可证10 个信源在谈推荐理由:智谱开源百万token模型原文
22:52NVIDIA AI@NVIDIAAIMiniMax 团队发布了 MiniMax M3,这是一个支持文本、图像和视频推理的长上下文多模态模型。模型采用稀疏注意力机制,总参数量约 428B,激活参数仅约 23B,在保持高性能的同时大幅降低了计算成本。该模型已开源权重,可在 Hugging Face 获取,并可通过 NVIDIA 的 GPU 加速端点免费试用。M3 的长上下文能力使其在处理视频、长文档等场景中具有优势。AI模型MiniMaxM3多模态模型长上下文开源/仓库10 个信源在谈推荐理由:多模态推理模型终于有了高效的开源选择——MiniMax M3 用 23B 激活参数实现长上下文多模态推理,做视频分析或长文档处理的团队可以直接在 NVIDIA 端点免费试,值得关注。原文
12:32karminski-牙医 (AI工具)@karminski3精选FlashMemory 论文提出一种神经内存索引器,能将 DeepSeekV4 的 1M 上下文显存占用从约 10GB 压缩至 1.3GB,且输出准确率反而提升 0.6%。该方法通过预测未来需要的历史片段,按需加载 KVCache,实现注意力降噪。索引器采用解耦训练,无需加载基座模型,训练成本大幅降低。该技术对长文本推理场景具有重大意义,尤其适合资源受限的部署环境。论文FlashMemoryDeepSeekV4显存优化长上下文注意力降噪推荐理由:长文本推理的显存瓶颈被 FlashMemory 大幅缓解,做 LLM 推理优化或部署长上下文模型的团队可以直接参考论文方法,效果甚至比原版更好。原文
09:13arXiv cs.AI@Xunhao Lai, Weiqi Xu, Yufeng Yang, Qiaorui Chen, Yang Xu, Lunbin Zeng, Xiaolong Li, Haohai Sun, Haichao Zhu, Vito Zhang, Pengyu Zhao精选MiniMax 提出了一种名为 MiniMax Sparse Attention (MSA) 的块级稀疏注意力机制,旨在解决大语言模型在超长上下文(百万级 token)下的计算瓶颈。MSA 基于分组查询注意力(GQA),通过轻量级索引分支对键值块进行评分,并为每个 GQA 组独立选择 Top-k 子集,实现高效的组级稀疏检索。在 109B 参数的多模态模型上,MSA 在 1M 上下文长度下将每 token 注意力计算量减少 28.4 倍,并在 H800 GPU 上实现 14.2 倍预填充和 7.6 倍解码加速。该方法的推理内核已开源,同时发布了基于 MSA 的生产级多模态模型。论文稀疏注意力长上下文推理加速MiniMax开源/仓库推荐理由:做长上下文推理或 agent 工作流的开发者,终于有了一个能直接部署的稀疏注意力方案——MSA 在 109B 模型上实现 28 倍计算缩减,且内核已开源,值得立刻试跑。原文
07:01Together AI@togethercompute精选Together AI 团队提出 Untied Ulysses 方法,解决了长上下文训练中的显存瓶颈。传统方法在单节点 8xH100 上训练 Llama 3B 模型时,仅模型参数就会耗尽显存,无法支持 3M token 的上下文长度。新方法通过优化注意力机制,在 8B 和 32B 规模下实现了比先前实现长 25% 的序列训练。这项研究让大模型长上下文训练变得更可行,降低了硬件门槛。论文长上下文显存优化注意力机制Together AI训练效率推荐理由:长上下文训练一直是显存大户,Untied Ulysses 让单节点就能跑 3M token,做 LLM 训练和推理优化的团队值得关注,能省下不少 GPU 预算。原文
00:24SiliconFlowAI@siliconflowai精选Google DeepMind 的 Gemma 4 12B 模型已在 SiliconFlow 平台上线,支持 262K 上下文、内置思考、原生工具调用及 140+ 语言。该模型采用无编码器架构,视觉和音频输入直接进入 LLM 主干,降低处理延迟。12B 参数规模但拥有 26B 的“大脑”性能,接近 Google 26B 模型的表现,在多步推理和智能体工作流中表现出色。定价为输入/输出每百万 tokens 0.1/0.3 美元,性价比突出。AI模型Gemma 4智能体多模态长上下文SiliconFlow7 个信源在谈推荐理由:做智能体、长上下文或多模态应用的开发者终于有了一个模型搞定三件事的选择——Gemma 4 12B 在 SiliconFlow 上价格亲民,建议直接上手试试。原文
12:57AI Will@FinanceYF588°Anthropic 的 Claude 5 Fable 模型在 Stripe 的 5000 万行 Ruby 代码库迁移任务中表现出色,将原本需要整支团队耗时两个月的工作压缩至一天完成。该模型在长任务和复杂场景下优势显著,效率、上下文管理能力全面升级,且 token 使用更高效。测试显示,任务越长越复杂,Fable 5 与其他模型的差距越大。这一成果标志着 AI 在大型代码库工程任务中的实用价值迈上新台阶。AI产品Claude 5 Fable代码迁移长上下文效率提升Stripe10 个信源在谈推荐理由:大型代码库迁移是工程团队的噩梦,Fable 5 把两个月压缩成一天,做后端或基础设施的开发者值得关注——这可能是你未来省下整支团队时间的关键工具。原文
12:12arXiv cs.LG@Albert Gong, Annabelle Michael Carrell, Raaz Dwivedi, Lester Mackey精选研究人员提出了一种名为 Express 的新工具,能将非因果注意力近似转换为因果注意力近似,并保持相同的近似保证。结合最先进的 Thinformer 近似,Express 在因果注意力上实现了已知最佳近似误差,仅需 O(s) 内存和 O(s² log²(n)) 压缩开销。该工具通过高效的 I/O 感知 Triton 实现,在长上下文预填充、KV 缓存压缩、长序列解码等场景中显著超越 FlashAttention 2。这解决了语言模型在长序列处理中的四个关键资源瓶颈。论文注意力近似因果注意力长上下文KV缓存压缩Triton实现推荐理由:做长上下文语言模型推理优化的团队,Express 能同时提升预填充和解码效率,值得直接集成到现有流水线中。原文
08:12Simon Willison’s Weblog(博客/媒体)88°Simon Willison 在 Claude Fable 5 发布后第一时间进行了约 5.5 小时的测试。该模型与 Claude Mythos 5 性能相同,但增加了严格的安全护栏,触发时 API 会通知用户并可自动回退到其他模型。Fable 5 拥有 100 万 token 上下文窗口、12.8 万最大输出 token,知识截止于 2026 年 1 月,价格是 Opus 4.8 的两倍。Willison 认为它“感觉很大”,不仅体现在速度和成本上,更在于其知识深度,例如能准确列出他的开源项目。当前挑战已从“模型能做什么”转向“找到它做不了的事”。AI模型Claude Fable 5Claude Mythos 5安全护栏长上下文推理模型10 个信源在谈推荐理由:Claude Fable 5 的“大模型感”让开发者重新思考任务边界——如果你经常用 Claude 处理复杂推理或长上下文任务,这个模型值得一试,但要做好预算准备。原文
10:32arXiv: DeepSeek@Yan Wang, Qifan Zhang, Jiachen Yu, Tian Liang, Dongyang Ma, Xiang Hu, Zibo Lin, Chunyang Li, Zhichao Wang, Jia Li, Yujiu Yang, Haitao Mi, Dong Yu精选72°FlashMemory-DeepSeek-V4 提出了一种名为 Lookahead Sparse Attention (LSA) 的新型推理范式,通过神经记忆索引器预测未来上下文需求,仅保留关键 KV 块在 GPU 内存中。该架构采用解耦训练策略,将索引器作为独立双编码器训练,无需加载主模型。在 LongBench-v2、LongMemEval 等长上下文评测中,LSA 将物理 KV 缓存压缩至全上下文基线的 13.5%,同时下游准确率平均提升 0.6%。在 50 万 token 极端长度下,物理 KV 缓存开销降低超过 90%,且不损害模型核心推理能力。论文稀疏注意力长上下文KV缓存压缩DeepSeek-V4推理效率推荐理由:LSA 解决了超长上下文推理的 GPU 内存瓶颈,做长文档分析或大规模序列建模的团队可以直接参考其稀疏注意力方案,显著降低部署成本。原文
09:35arXiv cs.AI@Zhixuan Liang, Yuxiao Chen, Yurong You, Peter Karkus, Wenhao Ding, Boyi Li, Alexander Popov, Yan Wang, Maximilian Igl, Yiming Li, Danfei Xu, Nikolai Smolyanskiy, Boris Ivanovic, Ping Luo, Marco Pavone针对自动驾驶中视觉-动作模型处理长时序上下文时计算开销过大的问题,本文提出 COMPACT-VA 框架。它基于条件 VQ-VAE 实现规划对齐的令牌压缩,将扩展上下文压缩为有限表示,同时保留决策关键信息。该方法在训练时利用未来轨迹蒸馏规划意图,推理时从压缩观测中预测意图,并与压缩记忆拼接后输入策略网络进行端到端优化。在动态场景下,COMPACT-VA 在相同令牌预算下成功率提升超 6%,并实现 3.3 倍加速和 2.7 倍内存缩减。论文自动驾驶令牌压缩VQ-VAE长上下文规划对齐推荐理由:自动驾驶长上下文处理的计算瓶颈终于有了架构兼容的解决方案——COMPACT-VA 无需修改骨干网络即可压缩令牌,做端到端自动驾驶的团队值得关注其 3.3 倍加速效果。原文
12:06arXiv cs.AI@Yutao Sun, Yanqi Zhang, Li Dong, Jianyong Wang, Furu Wei精选本文提出跨层稀疏注意力(CLSA),一种基于KV共享架构(如YOCO)的新方法。核心创新在于不仅共享KV缓存,还共享路由索引——单个索引器计算一次token级top-k选择,结果跨层复用,既保留了细粒度选择性,又分摊了路由开销。实验显示,在128K上下文下,CLSA实现最高7.6倍解码加速和17.1倍整体吞吐提升,同时保持模型质量。这为长上下文LLM提供了一种兼顾效率与质量的架构方案。论文稀疏注意力长上下文推理加速KV缓存YOCO推荐理由:长上下文推理的瓶颈终于有了系统级解法——CLSA通过共享路由索引同时加速预填充、缓存和解码,做LLM推理优化的团队值得看看这个架构思路。原文
05:48marktechpost@Asif Razzaq83°NVIDIA 发布了 Nemotron 3 Ultra,一个 550B 总参数(55B 激活)的开放混合专家模型,采用 Mamba-Transformer 混合架构。该模型支持 100 万 token 的上下文窗口,推理吞吐量比同等精度的开放 LLM 高约 6 倍。NVIDIA 同时开源了模型权重、训练数据和配方,遵循 OpenMDW-1.1 许可。这一发布旨在解决长时运行智能体在推理效率和上下文长度上的瓶颈,为 AI 代理和复杂任务自动化提供了更高效的基础模型。AI模型NVIDIANemotron 3 Ultra混合专家模型长上下文智能体10 个信源在谈推荐理由:长时智能体开发者终于有了一个兼顾超长上下文和高推理效率的开放模型——Nemotron 3 Ultra 的 6 倍吞吐量提升能显著降低部署成本,做 Agent 或 RAG 系统的团队值得直接试。原文
10:02pandaily@contact@pandaily.com (Pandaily)精选76°中国科学技术大学(USTC)研究人员开源了一种创新的智能体驱动长上下文训练范式,该范式通过智能体引导的数据生成和训练策略,显著提升了长上下文处理效率。实验表明,一个30亿参数的模型在长上下文任务上达到了与阿里巴巴Qwen3-235B模型相当的性能,而参数量仅为后者的八分之一。这一突破降低了长上下文模型训练的门槛,为资源有限的团队提供了高效方案。该范式已开源,有望推动长上下文AI应用的普及。论文长上下文智能体开源/仓库训练范式USTC推荐理由:中科大用30B模型打平235B的长上下文能力,做长上下文训练的团队可以直接复用这套开源范式,省下大量算力和数据成本。原文
01:21Fireworks AI@FireworksAI_HQ78°MiniMax 发布了新模型 M3,其核心创新是 MiniMax Sparse Attention (MSA) 机制,在 1M token 长上下文场景下解码速度提升 15.6 倍。Fireworks AI 宣布与 MiniMax 合作,为本次发布提供推理支持。用户可前往 minimax.io 试用,模型权重发布后也将对 Fireworks 社区开放。这一突破显著降低了长上下文推理的延迟和成本,对需要处理超长文档、代码库或对话历史的开发者意义重大。AI模型MiniMaxM3稀疏注意力长上下文推理加速推荐理由:长上下文推理的瓶颈被 MSA 大幅缓解,做 RAG、长文档分析或大上下文应用的团队值得立即体验,速度提升意味着更低的成本和更好的用户体验。原文
12:49rohanpaul_ai@rohanpaul_ai一篇新论文提出Self-Pruned Key-Value Attention方法,让大语言模型在长文本生成时只保留对后续token有用的历史键值对,从而大幅压缩KV缓存。该方法通过一个小型预测器为每个键值对打分,只保留高分项,同时确保最近token始终保留。模型在训练时通过正常的next-token预测学习剪枝策略,无需手工规则。实验表明,模型通常只保留10%到33.7%的旧键值对,性能接近全注意力,解码速度在长上下文场景下提升2.1到4.6倍。论文KV缓存长上下文注意力机制模型压缩Self-Pruned Key-Value Attention推荐理由:KV缓存是长上下文推理的瓶颈,这篇论文用自学习剪枝解决了内存爆炸问题,做LLM推理优化或长文本应用的开发者可以直接参考其方法。原文
04:40Together AI@togethercompute76°MiniMax-M3 是一款结合了 1M 上下文窗口、原生多模态能力和 MiniMax 稀疏注意力机制的新模型。Together 的推理和内核团队通过 KV-block-major 稀疏注意力、分页 MSA 解码、优化索引评分以及 GPU 工作前的多模态预处理,将常见智能体流量下的吞吐量提升了 81-125%。该模型在长上下文和多模态任务上表现出色,适合需要处理大量信息和多种数据类型的应用场景。AI模型MiniMax-M3稀疏注意力多模态长上下文推理优化7 个信源在谈推荐理由:做长上下文和多模态应用的团队可以关注——MiniMax-M3 的稀疏注意力优化让吞吐量提升显著,直接降低推理成本,值得一试。原文
04:47marktechpost@Asif Razzaq78°MiniMax 正式发布新一代大模型 MiniMax M3,采用自研的 MiniMax Sparse Attention(MSA)架构,支持高达 100 万 token 的超长上下文窗口。该模型原生支持图像、视频理解以及计算机使用(computer use)能力,并具备智能体编程(agentic coding)功能。MSA 架构通过稀疏注意力机制显著降低长序列计算成本,使得处理百万级 token 成为可能。这标志着国产大模型在长上下文和多模态融合方面迈出了重要一步,为复杂文档分析、视频理解和自动化编程等场景提供了新的基础设施。AI模型MiniMaxM3MSA架构长上下文多模态智能体编程推荐理由:MiniMax M3 的 1M 上下文和原生多模态能力直接解决了长文档分析和视频理解的痛点,做 RAG 应用或自动化编程的团队值得关注其 agentic coding 特性。原文
18:53岚叔@lufzzliz精选76°MiniMax 发布新一代旗舰模型 M3,面向 coding agent、长上下文和多模态任务。M3 支持 1M 上下文,核心技术创新是 MiniMax Sparse Attention (MSA),通过稀疏注意力将 KV 分块并精确选取相关块,大幅降低长上下文计算成本。在 1M 上下文下,每 token 计算量仅为上一代的 1/20,prefill 提速 9 倍以上,decode 提速 15 倍以上。M3 支持文本、图片、视频输入,将长上下文、工具调用、多模态理解和持续执行能力整合,明确押注 agentic coding 场景。AI模型MiniMax-M3稀疏注意力长上下文Agentic Coding多模态6 个信源在谈推荐理由:M3 的稀疏注意力解决了长上下文推理的成本痛点,做 coding agent 和自动化任务的开发者可以直接关注——1M 上下文下计算量骤降 95%,意味着更长的任务链也能跑得动。原文
15:16pandaily@contact@pandaily.com (Pandaily)精选83°MiniMax 发布了其旗舰模型 M3,声称这是国内首个将前沿编码、智能体能力、100 万 token 上下文窗口和原生多模态处理整合在单一架构中的 AI 模型。M3 模型在多项基准测试中表现出色,尤其在长文本理解和复杂任务执行方面。该模型支持同时处理文本、图像、音频等多种输入,并具备强大的代码生成和工具调用能力。MiniMax 表示 M3 旨在为开发者和企业提供更高效、更全面的 AI 解决方案。AI模型MiniMaxM3多模态长上下文智能体推荐理由:MiniMax M3 将 1M 上下文、多模态和智能体能力打包进一个模型,做长文本处理或多模态应用的开发者可以直接用它替代多个模型组合,省心又高效。原文
14:50歸藏(guizang.ai)@op7418精选76°MiniMax 正式发布大版本模型升级 MiniMax M3,核心亮点包括标配 1M 超长上下文、采用新的 MSA(MoE with Segment-wise Attention)稀疏注意力架构,以及从训练起就融合了文本、图片、视频和桌面操作的原生多模态能力。MSA 架构在 100 万上下文下每 token 计算量仅为上一代的约 1/20,大幅提升可落地性。API 价格同步更新,小于 512k 的 API 限时五折(7 天)。模型权重和技术报告将在约 10 天后开源。AI模型MiniMax M3长上下文稀疏注意力多模态API6 个信源在谈推荐理由:MiniMax M3 把长上下文、稀疏注意力和多模态融合做到了一个模型里,而且计算效率大幅提升,做 Agent 开发、多模态应用或长文档处理的团队可以直接用 API 试试,价格也很友好。原文
11:11OpenRouter@OpenRouterAI精选76°MiniMax-M3 是一款前沿开源权重模型,已在 OpenRouter 平台上线。它集成了 100 万 token 的超长上下文窗口、顶尖的编程与智能体能力,以及原生支持图像和视频的多模态处理。该模型在编码和智能体任务上表现卓越,同时保持了开源特性,为开发者和研究者提供了强大的工具。其 1M token 上下文窗口尤其适合处理长文档、复杂代码库和多模态数据融合场景。AI模型MiniMax-M3开源模型长上下文多模态编程助手6 个信源在谈推荐理由:MiniMax-M3 把长上下文、强编码和多模态塞进一个开源模型里,做复杂智能体或长文档处理的团队可以直接在 OpenRouter 上试,省去自己部署的麻烦。原文
11:17pandaily@contact@pandaily.com (Pandaily)卡内基梅隆大学和马里兰大学的研究人员发现,大型语言模型(LLM)在模拟“睡眠”机制后,能够更好地整合长上下文信息,从而提升复杂推理任务的性能。该研究通过让模型在训练或推理过程中插入类似睡眠的“巩固”阶段,有效减少了信息遗忘,并增强了模型对长文本的理解能力。这一发现为优化LLM的长期记忆和推理能力提供了新思路,可能对需要处理大量上下文的应用场景产生重要影响。论文LLM推理模型长上下文睡眠机制CMU推荐理由:做LLM推理优化或长上下文应用的团队值得关注——这项研究用“睡眠”机制解决了模型信息遗忘的痛点,直接提升复杂推理表现,建议点开看看具体实现。原文
09:06NVIDIA AI@NVIDIAAI精选76°NVIDIA 宣布推出 Step 3.7 Flash 模型,这是一个 198B 参数的混合专家(MoE)模型,但仅需 11B 活跃参数即可运行,大幅降低推理成本。该模型支持 256K 上下文长度,并原生支持图像和视频输入。即日起可在 build.nvidia.com 上通过 GPU 加速端点使用,也可通过 NVIDIA NIM 微服务部署,并支持使用 NeMo 框架进行微调。这一发布标志着 NVIDIA 在高效大模型领域的重要进展,尤其适合需要多模态理解和长上下文处理的应用场景。AI模型Step 3.7 FlashNVIDIAMoE多模态长上下文5 个信源在谈推荐理由:198B 参数但仅 11B 活跃,推理效率极高,做多模态应用或长文档处理的团队可以直接在 NVIDIA 平台试用,省成本又省心。原文
11:59arXiv cs.LG@Kevin Y. Li, Asher Trockman, Ananda Theertha Suresh, Ziteng Sun精选72°Oryx 是一种新型混合架构,能在序列处理中灵活切换注意力(用于长上下文检索)和线性循环(用于高效生成),解决了传统模型在效率和长上下文能力之间的权衡。该模型在 1.4B 参数规模下,平均语言建模任务性能比单一混合器基线提升至少 0.7 个百分点。在检索任务中,即使仅用不到 10% 的 token 运行注意力模式,Oryx 也能达到与 Transformer 基线相当的性能。Oryx 的关键创新是让不同混合器共享至少 90% 的参数,从而在共享内部表示上高效切换。这项工作表明注意力与线性循环模型可以共享表示,为序列轴上的混合设计提供了新方向。论文混合架构注意力机制线性循环模型长上下文Oryx推荐理由:Oryx 解决了长上下文检索与高效生成的矛盾,做序列建模或大模型架构的开发者可以直接参考其共享参数设计思路,值得关注。原文