全部 AI 动态 · AI 热点

6月19日

09:34

arXiv: DeepSeek@Ruiyang Ma, Teng Ma, Junru Li, Hantian Zha, Xuchun Shang, Qingda Hu, Zheng Liu, Xinjun Yang, Tao Ma, Guojie Luo

精选71°

长上下文LLM推理的内存瓶颈日益突出。传统RDMA解耦内存池对于稀疏注意力模型效率低下，仍需完整获取KV缓存。SAC系统利用CXL的低延迟、缓存行粒度加载/存储语义，仅在推理时按需获取所需的top-k KV条目。在DeepSeek-V3.2上使用SGLang的评估显示，相比RDMA基线，SAC实现了2.1倍吞吐量提升、9.7倍TTFT降低和1.8倍TBT降低。

论文 SAC CXL KV缓存稀疏注意力 DeepSeek-V3.2

推荐理由：长上下文推理，内存传输是瓶颈。新方案SAC用CXL按需取KV缓存，比RDMA吞吐量翻倍、延迟降到十分之一，做稀疏推理的值得一看。

原文

6月17日

23:33

marktechpost@Asif Razzaq

精选

MiniMax 发布 Sparse Attention (MSA) 机制，基于 Grouped Query Attention (GQA) 架构。MSA 包含一个轻量级索引分支，为每个查询和 GQA 组选择 Top-k 键值块；主分支仅关注这些块。在 1M 上下文长度下，每个 token 的注意力计算量减少 28.4 倍。该机制训练在 109B 参数的 MoE 模型上，使用 3T token 预算，下游基准测试中与 GQA 性能相当。

AI模型 MiniMax MSA 稀疏注意力长上下文

推荐理由：MiniMax 搞了个新稀疏注意力 MSA，1M 上下文计算量降 28 倍，准度却一点没掉，适合长文本场景。

原文

6月16日

20:46

AITOP6月16日 20:46

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

6月12日

22:47

vLLM@vllm_project

73°

MiniMax AI 发布了新一代开源模型 MiniMax M3，具备前沿的编码和智能体能力，原生支持图像和视频输入、计算机使用功能，并拥有 100 万 token 的上下文窗口。其核心是 MSA（MiniMax Sparse Attention）稀疏注意力架构，通过仅对 top 128-token KV 块进行注意力计算，大幅降低了长上下文推理的计算成本。M3 已在 vLLM 中实现首日支持，可在 NVIDIA 和 AMD 硬件上运行，支持 BF16 和 MXFP8 检查点、MoE 后端、多模态输入、工具调用和推理控制。这一成果是 MiniMax、NVIDIA、AMD 和 vLLM 社区合作的结晶。

AI模型 MiniMax M3 稀疏注意力 1M上下文开源模型 vLLM

推荐理由：M3 的 1M 上下文和稀疏注意力架构解决了长文档和复杂智能体任务的性能瓶颈，做 RAG、代码分析和自动化工作流的团队可以直接在 vLLM 上部署试用。

原文

12:57

AITOP6月12日 12:57

Claude代码里藏了个20260612，18个月后的AI记忆革命已经开始倒计时

09:13

arXiv cs.AI@Xunhao Lai, Weiqi Xu, Yufeng Yang, Qiaorui Chen, Yang Xu, Lunbin Zeng, Xiaolong Li, Haohai Sun, Haichao Zhu, Vito Zhang, Pengyu Zhao

精选

MiniMax 提出了一种名为 MiniMax Sparse Attention (MSA) 的块级稀疏注意力机制，旨在解决大语言模型在超长上下文（百万级 token）下的计算瓶颈。MSA 基于分组查询注意力（GQA），通过轻量级索引分支对键值块进行评分，并为每个 GQA 组独立选择 Top-k 子集，实现高效的组级稀疏检索。在 109B 参数的多模态模型上，MSA 在 1M 上下文长度下将每 token 注意力计算量减少 28.4 倍，并在 H800 GPU 上实现 14.2 倍预填充和 7.6 倍解码加速。该方法的推理内核已开源，同时发布了基于 MSA 的生产级多模态模型。

论文稀疏注意力长上下文推理加速 MiniMax 开源/仓库

推荐理由：做长上下文推理或 agent 工作流的开发者，终于有了一个能直接部署的稀疏注意力方案——MSA 在 109B 模型上实现 28 倍计算缩减，且内核已开源，值得立刻试跑。

原文

6月11日

15:28

AITOP6月11日 15:28

1107 vs 303：谷歌悄悄开源了一个“拆打字机”的模型，把大模型速度翻了4倍

15:23

AITOP6月11日 15:23

DiffusionGemma颠覆文本生成？自回归模型的“统治”要结束了

15:07

AITOP6月11日 15:07

每秒1107个token，Google开源的扩散模型为什么能改变本地推理格局？

6月9日

10:32

arXiv: DeepSeek@Yan Wang, Qifan Zhang, Jiachen Yu, Tian Liang, Dongyang Ma, Xiang Hu, Zibo Lin, Chunyang Li, Zhichao Wang, Jia Li, Yujiu Yang, Haitao Mi, Dong Yu

精选72°

FlashMemory-DeepSeek-V4 提出了一种名为 Lookahead Sparse Attention (LSA) 的新型推理范式，通过神经记忆索引器预测未来上下文需求，仅保留关键 KV 块在 GPU 内存中。该架构采用解耦训练策略，将索引器作为独立双编码器训练，无需加载主模型。在 LongBench-v2、LongMemEval 等长上下文评测中，LSA 将物理 KV 缓存压缩至全上下文基线的 13.5%，同时下游准确率平均提升 0.6%。在 50 万 token 极端长度下，物理 KV 缓存开销降低超过 90%，且不损害模型核心推理能力。

论文稀疏注意力长上下文 KV缓存压缩 DeepSeek-V4 推理效率

推荐理由：LSA 解决了超长上下文推理的 GPU 内存瓶颈，做长文档分析或大规模序列建模的团队可以直接参考其稀疏注意力方案，显著降低部署成本。

原文

6月5日

20:42

20:42IT之家（博客/媒体）

72°

腾讯混元团队提出 Stem 稀疏注意力算法，已被 ICML-26 收录。该算法通过 Token 位置衰减和输出感知度量两大创新，仅用 25% 算力即可逼近稠密注意力的精度。配套的 HPC 算子库将理论加速转化为实际性能，在 128K 上下文下首字延迟降低 3.6 倍。该方案为长文本推理场景提供了高效、低成本的注意力加速方案，相关论文和代码已开源。

论文稀疏注意力长文本推理腾讯混元 ICML-26 开源/仓库

推荐理由：长文本推理的延迟痛点终于有了低成本解法——Stem 用 25% 算力实现近无损精度，做 LLM 推理优化的团队可以直接用开源代码实测，128K 上下文下首字延迟降低 3.6 倍的效果值得关注。

原文

12:06

arXiv cs.AI@Yutao Sun, Yanqi Zhang, Li Dong, Jianyong Wang, Furu Wei

精选

本文提出跨层稀疏注意力（CLSA），一种基于KV共享架构（如YOCO）的新方法。核心创新在于不仅共享KV缓存，还共享路由索引——单个索引器计算一次token级top-k选择，结果跨层复用，既保留了细粒度选择性，又分摊了路由开销。实验显示，在128K上下文下，CLSA实现最高7.6倍解码加速和17.1倍整体吞吐提升，同时保持模型质量。这为长上下文LLM提供了一种兼顾效率与质量的架构方案。

论文稀疏注意力长上下文推理加速 KV缓存 YOCO

推荐理由：长上下文推理的瓶颈终于有了系统级解法——CLSA通过共享路由索引同时加速预填充、缓存和解码，做LLM推理优化的团队值得看看这个架构思路。

原文

12:01

arXiv cs.AI@Zhuoming Chen, Xinrui Zhong, Qilong Feng, Ranajoy Sadhukhan, Yang Zhou, Michael Qizhe Shieh, Zhihao Jia, Beidi Chen

精选

Vortex 是一个专为大规模语言模型（LLM）设计的稀疏注意力服务系统，解决了稀疏注意力算法在部署和评估中工程成本高的问题。它通过 Python 嵌入式前端语言和页面中心张量抽象，支持广泛稀疏注意力算法的快速原型设计、部署和评估。在 NVIDIA B200 GPU 上，Vortex 使 AI Agent 自动生成的算法吞吐量比全注意力提升高达 3.46 倍，并在 MLA 架构的 GLM-4.7-Flash 和 229B 参数的 MiniMax-M2.7 上分别实现 4.7 倍和 1.37 倍的吞吐量提升。该系统显著加速了稀疏注意力算法的迭代，尤其适用于长序列生成场景。

论文稀疏注意力 LLM服务 AI Agent 吞吐量优化 Vortex

推荐理由：稀疏注意力是长上下文 LLM 服务的关键瓶颈，Vortex 让 AI Agent 和研究者能快速实验新算法，做 LLM 推理优化的团队可以直接用它提升吞吐量，值得关注。

原文

6月4日

01:21

Fireworks AI@FireworksAI_HQ

78°

MiniMax 发布了新模型 M3，其核心创新是 MiniMax Sparse Attention (MSA) 机制，在 1M token 长上下文场景下解码速度提升 15.6 倍。Fireworks AI 宣布与 MiniMax 合作，为本次发布提供推理支持。用户可前往 minimax.io 试用，模型权重发布后也将对 Fireworks 社区开放。这一突破显著降低了长上下文推理的延迟和成本，对需要处理超长文档、代码库或对话历史的开发者意义重大。

AI模型 MiniMax M3 稀疏注意力长上下文推理加速

推荐理由：长上下文推理的瓶颈被 MSA 大幅缓解，做 RAG、长文档分析或大上下文应用的团队值得立即体验，速度提升意味着更低的成本和更好的用户体验。

原文

6月3日

04:40

Together AI@togethercompute

76°

MiniMax-M3 是一款结合了 1M 上下文窗口、原生多模态能力和 MiniMax 稀疏注意力机制的新模型。Together 的推理和内核团队通过 KV-block-major 稀疏注意力、分页 MSA 解码、优化索引评分以及 GPU 工作前的多模态预处理，将常见智能体流量下的吞吐量提升了 81-125%。该模型在长上下文和多模态任务上表现出色，适合需要处理大量信息和多种数据类型的应用场景。

AI模型 MiniMax-M3 稀疏注意力多模态长上下文推理优化

推荐理由：做长上下文和多模态应用的团队可以关注——MiniMax-M3 的稀疏注意力优化让吞吐量提升显著，直接降低推理成本，值得一试。

原文

6月1日

18:53

岚叔@lufzzliz

精选76°

MiniMax 发布新一代旗舰模型 M3，面向 coding agent、长上下文和多模态任务。M3 支持 1M 上下文，核心技术创新是 MiniMax Sparse Attention (MSA)，通过稀疏注意力将 KV 分块并精确选取相关块，大幅降低长上下文计算成本。在 1M 上下文下，每 token 计算量仅为上一代的 1/20，prefill 提速 9 倍以上，decode 提速 15 倍以上。M3 支持文本、图片、视频输入，将长上下文、工具调用、多模态理解和持续执行能力整合，明确押注 agentic coding 场景。

AI模型 MiniMax-M3 稀疏注意力长上下文 Agentic Coding 多模态

推荐理由：M3 的稀疏注意力解决了长上下文推理的成本痛点，做 coding agent 和自动化任务的开发者可以直接关注——1M 上下文下计算量骤降 95%，意味着更长的任务链也能跑得动。

原文

18:24

berryxia@berryxia

精选76°

KwaiKeye 在 Hugging Face 开源了多模态模型 Keye VL 2.0-30B-A3B，总参数 30B 但活跃参数仅 3B，采用 Apache 2.0 协议。模型通过 DeepSeek 稀疏注意力实现 256K 上下文，视频理解能力随输入帧数增加而准确率上升，打破长视频导致模型迷失的直觉。在多个长视频基准上，其表现与 Qwen3 VL 和 Gemini 3 Flash 相当。该模型证明了稀疏注意力可同时兼顾长上下文和深度理解，是多模态领域的重要进展。

AI模型多模态模型稀疏注意力开源/仓库视频理解 KwaiKeye

推荐理由：做视频理解或多模态应用的开发者，终于有了一个长上下文和深度理解兼得的开源模型，建议直接去 Hugging Face 下载试试。

原文

14:50

歸藏(guizang.ai)@op7418

精选76°

MiniMax 正式发布大版本模型升级 MiniMax M3，核心亮点包括标配 1M 超长上下文、采用新的 MSA（MoE with Segment-wise Attention）稀疏注意力架构，以及从训练起就融合了文本、图片、视频和桌面操作的原生多模态能力。MSA 架构在 100 万上下文下每 token 计算量仅为上一代的约 1/20，大幅提升可落地性。API 价格同步更新，小于 512k 的 API 限时五折（7 天）。模型权重和技术报告将在约 10 天后开源。

AI模型 MiniMax M3 长上下文稀疏注意力多模态 API

推荐理由：MiniMax M3 把长上下文、稀疏注意力和多模态融合做到了一个模型里，而且计算效率大幅提升，做 Agent 开发、多模态应用或长文档处理的团队可以直接用 API 试试，价格也很友好。

原文

5月28日

15:39

pandaily@contact@pandaily.com (Pandaily)

精选

中国 AI 独角兽 MiniMax 正在准备推出其下一代 M3 大语言模型，该模型采用自研稀疏注意力机制，声称预填充速度提升 9.7 倍。M3 模型旨在解决长上下文场景下的计算效率瓶颈，通过稀疏化注意力计算减少冗余，从而加速推理并降低资源消耗。这一进展对需要处理超长文本的 AI 应用（如文档分析、对话系统）具有重要意义。MiniMax 预计在 2026 年 5 月正式发布 M3 模型。

AI模型 MiniMax M3 稀疏注意力大语言模型推理加速

推荐理由：稀疏注意力是当前大模型效率优化的关键方向，MiniMax 的 9.7 倍提速对做长文本推理的开发者是直接利好，值得关注其技术细节和开源计划。

原文

5月27日

08:36

berryxia@berryxia

83°

MiniMax AI工程负责人Skyler Miao预告了下一代模型M3的发布，并透露其核心架构：基于GQA的动态块稀疏注意力。该技术通过轻量索引分支快速筛选相关token块，仅对关键块执行稀疏注意力计算，大幅降低算力需求。在1M token上下文下，M3的预填充速度比M2快9.7倍，解码速度快15.6倍。这使得百万token级别的Agent任务从理论走向实用，长上下文处理变得又快又省。M3的发布将为长上下文模型赛道增添有力竞争者。

AI模型 MiniMax M3 长上下文稀疏注意力 Agent

推荐理由：MiniMax M3用动态稀疏注意力把1M上下文的算力成本打下来了，做长上下文Agent的开发者可以直接关注，这可能是让百万token任务真正落地的关键突破。

原文

5月26日

12:38

arXiv: DeepSeek@Spandan Pratyush

精选

该论文提出一种基于语法角色（词性标注）的稀疏注意力机制，通过动态生成注意力掩码，只允许语法相关的词对进行交互，从而降低Transformer自注意力的计算复杂度。实验在SST-2情感分类任务上使用DistilBERT架构，硬掩码和软掩码策略分别达到0.8200和0.8165的准确率，与全注意力的0.8200持平，但显著减少了理论计算开销。该方法为构建更高效、可解释且融入语言学知识的Transformer模型提供了新路径。

论文稀疏注意力 Transformer 语法引导可解释性词性标注

推荐理由：做NLP模型压缩或可解释性研究的开发者，可以关注这种用语法知识替代暴力稀疏化的思路——既省算力又不掉点，值得在长文本任务上试试。

原文

5月19日

14:22

arXiv cs.AI@Yuxiang Huang, Nuno M. T. Gonçalves, Federico Alvetreti, Lei Li, Xu Han, Edoardo M. Ponti, André F. T. Martins, Marcos V. Treviso

精选72°

DashAttention 提出了一种新的分层注意力机制，通过可微分的 α-entmax 变换替代传统 top-k 操作，自适应地为每个查询选择可变数量的关键值块，从而解决了现有方法（如 NSA 和 InfLLMv2）中固定块数和梯度阻断的问题。该方法保持整个层次结构完全可微分，且具有非分散性，提升了长上下文建模能力。实验表明，在 75% 稀疏度下，DashAttention 的准确率与全注意力相当，在高稀疏场景下优于 NSA 和 InfLLMv2。其基于 Triton 的 GPU 实现推理速度甚至超过 FlashAttention-3。DashAttention 为长上下文模型提供了一种高效且经济的方案。

论文注意力机制长上下文稀疏注意力可微分 LLM

推荐理由：长上下文 LLM 的推理成本一直是痛点，DashAttention 用可微分稀疏注意力在保持精度的同时大幅提速，做长文本推理和模型优化的研究者值得关注。

原文