推理加速相关 AI 资讯

7月11日

06:22

官方账号Clement Delangue@ClementDelangue

精选

Hugging Face 与 Google Gemma 联合举办的 Gemma Challenge 结果出炉。超过100个 AI agent 和人类在6天内协作，将 Gemma 4 推理速度在单张 NVIDIA A10G GPU 上提升5倍，达到491.8 TPS（最快但有质量损失），无损方案达315 TPS。项目展示了多智能体协作优化模型推理的潜力。

推荐理由：Hugging Face 和 Google 搞了个挑战赛，100多个 AI agent 和人类一起把 Gemma 4 推理速度在单张 A10G 上提升了5倍，最快冲到491.8 TPS，挺酷的。

原文

7月10日

23:28

官方一手AWS Machine Learning Blog@Xuan Lu

精选

本教程展示了如何在Amazon SageMaker HyperPod上使用vLLM实现DPD（分离预填充和解码）。DPD通过将预填充阶段和解码阶段分别部署在不同的计算节点上，显著降低了推理延迟。文中提供了使用HyperPod推理操作符的具体配置步骤和性能对比数据。该方法适用于需要低延迟响应的LLM推理场景。

技巧 SageMaker HyperPod vLLM DPD 推理加速 AWS

推荐理由：AWS教你用vLLM在SageMaker HyperPod上把LLM推理分成两段跑，延迟更低，实操步骤写得挺清楚。

原文

10:11

10:11IT之家（博客/媒体）

谷歌推出LiteRT.js库，基于WebAssembly并利用WebGPU与WebNN硬件加速。该库旨在替代TensorFlow.js的JavaScript内核方案。在搭载M4芯片的2024款MacBook Pro上，LiteRT.js推理速度较现有方案提升3倍。谷歌表示在旧硬件或不同引擎浏览器上性能可能存在差异。

AI产品 LiteRT.js 谷歌 WebAssembly TensorFlow.js 推理加速

推荐理由：谷歌出了个LiteRT.js，用WebAssembly让浏览器跑AI比TensorFlow.js快3倍，尤其在M4 MacBook上效果明显。

原文

7月9日

19:20

官方账号vLLM@vllm_project

精选76°

vLLM与Hugging Face团队在v0.25.0中实现了Transformers建模后端与手写vLLM模型的对等性能。现在450多种Transformers架构可以直接在vLLM中以原生速度运行，完全无需移植代码。用户只需集成一次Transformers即可自动获得vLLM的融合内核、torch.compile和CUDA图优化。这一更新大幅降低了在vLLM上使用新模型的工程成本。

AI产品 vLLM Hugging Face Transformers v0.25.0 推理加速

推荐理由：vLLM和Hugging Face搞了个大活：Transformers v0.25.0直接兼容vLLM，450多个模型自动加速，不用自己写适配代码了，开箱即用！

原文

7月8日

16:44

16:44IT之家（博客/媒体）

NVIDIA 正与 ASIC 初创企业 d-Matrix 合作，将 Hopper/Blackwell GPU 与 d-Matrix 的 Corsair ASIC 结合形成混合算力基础设施。Parasail 通过该组合实现了 10 倍的 Token 生成速率。Corsair 采用台积电 N6 制程 D-IMC 架构，集成计算单元和足量 SRAM 降低数据开销。方案中 GPU 负责推理前端的预填充任务，Corsair 处理延迟敏感的解码任务。

行业 NVIDIA d-Matrix Corsair 推理加速异构计算

推荐理由：NVIDIA 和 d-Matrix 搞了个混合算力方案，GPU 负责预填充、专用芯片负责解码，推理 Token 生成速度翻了 10 倍。不是单纯的拼硬件，是真正分工优化。

原文

16:35

techcrunch@Anna Heim

ZML是一家由图灵奖得主Yann LeCun背书的法国AI初创公司，近期推出免费产品ZML/LLMD。该软件旨在加速AI推理过程，特别是在大量AI芯片上运行时的效率。通过优化推理速度，ZML/LLMD有望降低AI部署的计算成本。

AI产品 ZML ZML/LLMD Yann LeCun 推理加速 AI芯片

推荐理由：ZML这波免费发布推理加速软件，能让多芯片推理跑得更快、更省钱，尤其适合做大规模部署的人。

原文

12:19

官方账号arXiv cs.AI@Anna Cordoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesus Olivera

DepthWeave-KV是一种跨层键值缓存压缩方法，通过共享低秩通道基分解相邻层状态，保留令牌特定残差。它使用令牌条件深度路由器为指令型和检索关键令牌分配更高重构秩，并通过注意力输出探头在线追踪误差自适应压缩。在LongBench等基准上，DepthWeave-KV实现近满缓存任务质量，压缩比达8.3倍，64K上下文速度72.8 tokens/s。

论文 DepthWeave-KV KV缓存压缩长上下文推理加速论文

推荐理由：长上下文推理内存瓶颈有救了！DepthWeave-KV用跨层分解加自适应压缩，8.3倍KV缓存缩减，速度72.8 tokens/s，比其他方法效果更好。

原文

7月7日

16:51

@koltregaskes@koltregaskes

73°

OpenAI 宣布其大型模型 GPT-5.6 Sol 将在 Cerebras 硬件上提供推理服务，速度高达 750 tokens 每秒。官方表示该版本与原始模型“相同”，但可能在上下文窗口大小等参数上有调整。该部署预计显著提升推理效率，适用于高吞吐场景。

AI模型 GPT-5.6 Sol OpenAI Cerebras 推理加速

推荐理由：OpenAI 把 GPT-5.6 Sol 放到 Cerebras 上跑，推理速度飙到 750 tokens/s，比常规部署快很多，适合追求低延迟的场景。

原文

11:49

官方一手arXiv: DeepSeek@Xin Cheng, Xingkai Yu, Chenze Shao, Jiashi Li, Yunfan Xiong, Yi Qian, Jiaqi Zhu, Shirong Ma, Xiaokang Zhang, Jiasheng Ye, Qinyu Chen, Chengqi Deng, Jiping Yu, Damai Dai, Zhengyan Zhang, Yixuan Wei, Yixuan Tan, Wenkai Yang, Runxin Xu, Yu Wu, Zhean Xu, Xuanyu Wang, Muyang Chen, Rui Tian, Xiao Bi, Zhewen Hao, Shaoyuan Chen, Huanqi Cao, Wentao Zhang, Anyi Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

76°

DSpark是一种新型投机解码框架，通过半自回归架构（并行骨干网络+轻量级顺序模块）保持草稿质量，缓解后缀衰减。它采用置信度调度验证，根据前缀存活概率和引擎吞吐量动态调整每轮验证长度。在离线多领域基准测试中，DSpark的接受长度显著优于现有自回归和平行草稿器。在DeepSeek-V4服务系统的真实用户流量下，相比生产基线MTP-1，DSpark在维持吞吐量不变时单用户生成速度提升60%至85%。DSpark还通过防止高并发下吞吐量严重退化，使服务系统达到了此前无法实现的性能层级。

AI模型 DSpark DeepSeek-V4 投机解码推理加速半自回归生成

推荐理由：DeepSeek-V4搞了个新框架DSpark，把生成和验证分开调度，用户实际体验加速60%到85%，还不会拖慢系统吞吐。

原文

7月6日

19:51

量子位@量子位的朋友们

精选73°

阿里与清华团队在ICML 2025上发表极简方案，刷新扩散模型推理纪录。该方案大幅简化了扩散模型推理流程，实现了速度与质量的提升。论文被ICML评选为杰出论文。

论文阿里清华 ICML 扩散模型推理加速

推荐理由：阿里和清华的新研究，用极简单的方法把扩散模型推理速度刷到新纪录，还拿了ICML杰出论文，搞生成模型的快看。

原文

7月2日

20:30

官方账号vLLM@vllm_project

精选

DeepSeek 的 DSpark 投机解码技术现已原生集成到 vLLM 推理框架中。DSpark 是一种半自回归草稿模型，通过非因果滑动窗口注意力并行生成多个 token，单次验证即可保持输出一致，减少解码步数。在 NVIDIA 8×B300 GPU 上，DeepSeek-V4-Pro-DSpark 在 batch size 1 时达到约 250 tokens/s，平均接受长度约 5，且在不同草稿深度下比 MTP 方法接受率高 12-42%。vLLM 通过复用 SparseMLA 后端、捕获完整草稿主干和采样循环到单一 CUDA graph，并支持前缀缓存和 FP8 KV cache。

AI模型 DeepSeek vLLM DSpark 投机解码推理加速

推荐理由：DeepSeek 把 DSpark 开源自带进 vLLM，跑 DeepSeek-V4 实测单卡 250 token/s，比 MTP 快 12-42%，想搞投机解码的可以试试。

原文

07:33

HeyGen@HeyGen_Official

精选

HeyGen Research开发了一个自主代理，将VAE解码器的推理速度提升了3倍。该代理在优化任务上超越了人类辅助优化方法。团队认为这种自动化优化应成为模型部署的新标准。完整技术报告已在heygen.com/research/auto-…发布。

论文 HeyGen VAE autonomous agent 推理加速模型部署

推荐理由：HeyGen用AI调AI，把VAE解码器跑快3倍，比人调的结果还强，搞模型部署的值得看一下。

原文

03:52

官方账号NVIDIA AI@NVIDIAAI

78°

NVIDIA Research将30B参数的Nemotron-3-Nano-30B-A3B模型拆分为两半，一半维护上下文，一半生成token。该扩散语言模型仅复用预训练权重而非从头训练，在保持98.7%原始质量的同时实现了2.42倍的生成加速。这种方法将传统的自回归逐token生成改为并行写入，显著提升了推理效率。

AI模型 Nemotron NVIDIA 扩散语言模型并行生成推理加速

推荐理由：NVIDIA把30B模型劈成两半，并行写token，速度翻倍还保质量，不是新训模型是复用预训练，挺聪明的做法。

原文

7月1日

10:08

官方账号arXiv cs.AI@Zhaoyang Luo, Runmin Dong, Miao Yang, Fan Wei, Yushan Lai, Bin Luo, Haohuan Fu

论文提出一种操作级视觉令牌跳过框架，将Transformer层分解为注意力与FFN操作，选择性跳过冗余计算。实验覆盖3种MLLM架构（含Qwen3-VL）和10个VQA基准，实现精度-效率权衡：在Qwen3-VL上减少33.7% TFLOPs，保留99.5%的原始性能。关键发现是晚期视觉令牌更新对答案表示影响很小，且有效计算具有操作主导性和层依赖性。

论文 MLLM Qwen3-VL 推理加速 VQA Transformer

推荐理由：这篇论文告诉你如何在不牺牲性能的前提下大幅降低多模态大模型的计算量。他们在Qwen3-VL上砍了33.7%的算力，性能只掉了0.5%，方法很巧妙。

原文

02:48

Amjad Masad@amasad

精选

AI推理成本高昂的原因之一是多数工作负载运行在预LLM时代的通用硬件上。Etched从隐身模式亮相，其系统专为现代推理从零设计。公司已获得超过10亿美元客户合同和8亿美元融资。早期测试显示，在推理工作负载上吞吐量、延迟和能效均达到SOTA。首批机架将于今年夏季发货。

AI产品 Etched AI推理专用芯片推理加速 SOTA性能

推荐理由：Etched做了专为AI推理优化的芯片，比通用硬件在吞吐、延迟、能效上都做到了目前最好。今年夏天就发货，关注成本的人可以看看。

原文

6月30日

06:35

官方账号vLLM@vllm_project

vLLM 社区正在将 DeepSeek 的 DSpark 推测解码算法集成到 vLLM 推理引擎中。DSpark 是一种推测解码算法，能显著提升大语言模型的推理速度。该集成旨在为所有 vLLM 用户带来更快的推理性能，无需额外配置。目前社区正在积极开发中，预计将提升 vLLM 的吞吐量并降低延迟。

AI模型 vLLM DeepSeek DSpark 推理加速开源模型

推荐理由：vLLM 社区正在把 DeepSeek 的 DSpark 算法加进来，推理速度能再上一个台阶，用 vLLM 的朋友可以期待了。

原文

6月28日

13:11

官方一手pandaily@contact@pandaily.com (Pandaily)

DeepSeek 发布 DSpark 推测解码框架，可将文本生成速度提升 80%。该框架优化推理效率，标志着 AI 竞争焦点从训练规模转向实际部署。DSpark 采用推测解码技术，通过小模型草稿加速大模型生成。

AI模型 DeepSeek DSpark 推理加速推测解码

推荐理由：DeepSeek 的 DSpark 框架让模型生成快八成，推理部署更省算力，搞推理优化的可以看看。

原文

11:19

Geek@geekbb

有传闻称DeepSeek官方V4 API在2024年8月上线两周后，便开始使用氮气加速技术DSpark。该说法源自社区讨论，目前官方未确认。DSpark是DeepSeek自主研发的推理加速方案，可降低延迟和成本。若属实，则V4 API在发布后快速引入了性能优化。

AI产品 DeepSeek V4 DSpark 推理加速

推荐理由：听说DeepSeek V4 API悄悄用上DSpark加速了？上线才两周，这速度有点猛。

原文

01:07

官方一手marktechpost@Asif Razzaq

79°

DeepSeek开源了DSpark框架，通过将草稿模块附加到现有DeepSeek-V4权重上实现推测解码。它结合并行草稿骨干和轻量级马尔可夫头来减少后缀衰减，并加入基于置信度的调度验证，根据实时GPU负载调整检查token数量。离线测试中，接受长度相比DFlash和Eagle3提升16-31%；生产环境中每个用户生成速度比MTP-1基线提升57-85%，且无损。训练代码DeepSpec以MIT许可证开源。

AI模型 DSpark DeepSeek-V4 DeepSeek 推测解码推理加速

推荐理由：DeepSeek搞了个DSpark，让V4推理速度翻倍，开源还无损，适合高并发场景。

原文

6月24日

15:30

官方一手marktechpost@Asif Razzaq

76°

UC San Diego推出DFlash，用轻量级块扩散模型替代自回归起草器，实现投机解码。该方法通过单次前向传播生成整块token，并利用KV注入条件于目标隐藏特征。在Qwen3-8B上达到6.08倍无损加速，NVIDIA报告在Blackwell上固定交互性下吞吐量提升15倍。DFlash已发布20个检查点，支持SGLang、vLLM和TensorRT-LLM。

AI模型 DFlash Qwen3-8B NVIDIA Blackwell 投机解码推理加速

推荐理由：UC San Diego搞了个新方法DFlash，用扩散模型直接生成整段token，比自回归快几倍，Qwen3-8B上6倍加速，Blackwell上15倍，还开源了检查点，搞推理加速的可以看看。

原文

6月17日

01:55

官方一手AWS Machine Learning Blog@Andy Peng

精选

本文介绍如何利用Amazon SageMaker AI中的P-EAGLE方法并行化推测解码，加速生成式AI推理。用户可从SageMaker JumpStart目录中选择兼容模型，并配置并行草稿生成参数。通过部署优化的实时SageMaker AI端点，可显著降低推理延迟。P-EAGLE基于EAGLE框架，支持多头并行推测，适用于Llama等主流模型。

技巧 P-EAGLE Amazon SageMaker AI SageMaker JumpStart 推测解码推理加速

推荐理由：AWS教你用P-EAGLE在SageMaker上把推理加速好几倍，选模型调参数就能部署，简单实用。

原文

6月16日

11:56

官方一手arXiv: DeepSeek@Yingnan Zhao, Razvan Bunescu, Ahmed Louri, Avinash Karanth, Ke Wang

针对MoE模型（如Qwen、DeepSeek）推理中专家加载延迟高的问题，研究者分析了专家选择行为，发现相邻MoE层和连续解码token间专家请求存在强相关性。基于此提出ST-MoE，一个结合轻量级运行时预测机制与可重构硬件设计的专家预取框架。ST-MoE通过预取专家与计算重叠，显著提升推理性能并降低能耗，同时保持模型精度。实验在多种MoE模型和应用（语言理解、代码生成）上验证了有效性。

论文 MoE Qwen DeepSeek ST-MoE 推理加速

推荐理由：这篇论文分析了Qwen、DeepSeek等MoE模型的专家加载瓶颈，用ST-MoE框架通过预取专家来加速推理，兼顾效率和精度，适合关注大模型推理优化的读者。

原文

02:16

官方账号LMSYS Org (SGLang)@lmsysorg

76°

LMSYS 发布博客介绍 DFlash 和 Spec V2 推测解码技术。在 8 块 B200 上，针对 HumanEval 基准，DFlash + Spec V2 实现超过 4.3 倍基线吞吐量和 1.5 倍原生 MTP 吞吐量。其核心包括块扩散起草器（一次前向传播生成完整 token 块）和 KV 注入（目标模型特征馈入每层 KV 缓存），以及 Spec V2 重叠调度器带来 33% 端到端提升。该方案现已作为 SGLang 的默认推测解码引擎。

AI模型 DFlash Spec V2 SGLang 推测解码推理加速

推荐理由：LMSYS 和 Modal 联手推出了 DFlash，让 Qwen 3.5 的推理速度比原生 MTP 快 1.5 倍，比基线快 4.3 倍，代码已开源，玩起来！

原文

6月15日

11:11

官方账号arXiv cs.LG@Ali Asaria, Tony Salomone, Deep Gandhi

精选

论文发现消费级Ampere GPU上扩散Transformer的INT8量化常因反量化回bf16而无法利用INT8张量核心。作者为Ideogram 4.0线性层设计了一个融合Triton INT8 GEMM内核，在Ampere张量核心上执行int8×int8→int32，并在epilogue中折叠逐token×逐通道反量化和偏置。该内核实现2.8-4.2倍于bf16的GEMM加速，并保持余弦相似度1.0且无NaN。端到端测试中，在单张RTX 3090上768px分辨率获得约9-10%提速，1024px生成耗时156.5秒，优于NF4（164.5秒）和FP8（172.9秒）基线，且PickScore/CLIPScore无质量损失。

论文 Ideogram 4.0 RTX 3090 INT8 GEMM 推理加速 Triton

推荐理由：INT8反超FP8，单卡RTX 3090跑1024px扩散模型

原文

6月12日

12:31

karminski-牙医 (AI工具)@karminski3

精选

Google发布了Gemma小模型的Diffusion版本，名为Diffusion Gemma，大小26B但激活参数量仅4B。与NVIDIA合作针对RTX 4090和5090优化，5090上每秒可生成700+ token。Diffusion模型像刮奖一样逐片生成文本，速度远快于传统逐字生成模型，但输出质量略低。在AIME 2026数学测试中达到Gemma4-26B-A4B的94%水平，在Agent能力测试中达到82%。4bit量化版本仅需16G显存即可运行。

AI模型 Diffusion模型 Gemma Google NVIDIA 推理加速

推荐理由：Diffusion Gemma把文本生成速度拉到单卡700TPS，做实时对话或高吞吐推理的团队可以直接用，4bit量化16G显存就能跑，值得试试能否做投机解码的草稿模型。

原文

12:10

官方账号vLLM@vllm_project

精选73°

GoogleDeepMind 推出了 DiffusionGemma，这是一个基于 Gemma4 架构的 26B 参数扩散语言模型（dLLM），并成为 vLLM 原生支持的首个扩散语言模型。与传统自回归模型逐个生成 token 不同，DiffusionGemma 能并行去噪 256 个 token 的块，在单张 H200（FP8）上以 batch size 1 实现超过 1200 输出 token/秒的吞吐量。该模型通过 vLLM 的 model runner v2 的 ModelState 和现有推测解码路径实现，对调度器和运行器改动极小。FP8 和 NVFP4 检查点已托管在 RedHat AI 中心，由 GoogleDeepMind、RedHat AI 和 NVIDIA AI 团队合作完成。这一进展标志着扩散模型在高效文本生成领域迈出重要一步。

AI模型扩散语言模型 vLLM GoogleDeepMind 并行生成推理加速

推荐理由：DiffusionGemma 用并行去噪替代逐 token 生成，大幅提升推理速度，做大规模文本生成或实时应用的团队可以直接在 vLLM 中体验，值得关注。

原文

09:57

官方账号arXiv cs.LG@Alexander Soen, Hisham Husain, Valentin De Bortoli, Arnaud Doucet

该论文提出了一种针对扩散模型的高效推测采样方案，将大语言模型中的块验证技术适配到连续扩散空间，显著提高了草稿的接受率。现有方法在连续空间中采样残差分布时计算效率低，而新方案通过块验证实现了更高效的并行验证。作者还形式化了 Free Drafter——一种无需训练的启发式自推测草稿生成器。实验表明，Free Drafter 在现有推测方法基础上实现了最高 6.3% 的加速，且几乎无额外开销。这项工作为扩散模型的推理加速提供了新思路，尤其适用于需要快速生成高质量样本的场景。

论文扩散模型推测解码推理加速块验证 Free Drafter

推荐理由：扩散模型推理加速有了新解法——块验证让草稿接受率更高，做生成式 AI 推理优化的团队可以直接参考 Free Drafter 的无训练方案，实测有 6.3% 的提速收益。

原文

09:13

官方账号arXiv cs.AI@Xunhao Lai, Weiqi Xu, Yufeng Yang, Qiaorui Chen, Yang Xu, Lunbin Zeng, Xiaolong Li, Haohai Sun, Haichao Zhu, Vito Zhang, Pengyu Zhao

精选

MiniMax 提出了一种名为 MiniMax Sparse Attention (MSA) 的块级稀疏注意力机制，旨在解决大语言模型在超长上下文（百万级 token）下的计算瓶颈。MSA 基于分组查询注意力（GQA），通过轻量级索引分支对键值块进行评分，并为每个 GQA 组独立选择 Top-k 子集，实现高效的组级稀疏检索。在 109B 参数的多模态模型上，MSA 在 1M 上下文长度下将每 token 注意力计算量减少 28.4 倍，并在 H800 GPU 上实现 14.2 倍预填充和 7.6 倍解码加速。该方法的推理内核已开源，同时发布了基于 MSA 的生产级多模态模型。

论文稀疏注意力长上下文推理加速 MiniMax 开源/仓库

推荐理由：做长上下文推理或 agent 工作流的开发者，终于有了一个能直接部署的稀疏注意力方案——MSA 在 109B 模型上实现 28 倍计算缩减，且内核已开源，值得立刻试跑。

原文

6月11日

06:13

Sundar Pichai@sundarpichai

78°

Google 发布了 DiffusionGemma，这是一个基于 Gemma 4 的实验性开放模型，采用文本扩散技术。与传统逐词预测不同，DiffusionGemma 能同时生成整段文本，实现高达 4 倍的推理加速。该模型目前以研究预览形式开放，旨在探索更高效的文本生成方式。这对于需要低延迟文本生成的场景（如实时对话、内容创作）具有重要意义。

AI模型文本扩散推理加速 Gemma 4 开放模型 Google

推荐理由：推理速度提升 4 倍意味着更低的延迟和更低的成本，做实时文本生成或大规模内容生产的团队值得关注这个新方向。

原文

03:39

官方账号Decoder@Jonathan Kemper

72°

Google 发布了 DiffusionGemma，一个 260 亿参数的开源模型。它不采用传统的逐词生成方式，而是通过扩散过程从噪声中生成文本，类似于图像 AI 的工作方式。据 Nvidia 称，该模型在单个 H100 GPU 上每秒可处理约 1000 个 token，速度是同类自回归模型的约 4 倍。但输出质量较低，因此 Google 目前将其定位为面向开发者的实验性工具。

AI模型 Google DiffusionGemma 扩散模型开源模型推理加速

推荐理由：DiffusionGemma 为文本生成开辟了新路径，追求推理速度的开发者可以尝试这种非自回归方案，尤其适合对实时性要求高的场景。

原文

02:55

02:55官方一手Google DeepMind: Blog（博客/媒体）

Google DeepMind 推出 DiffusionGemma，一种基于扩散模型的文本生成方法，相比传统自回归模型，生成速度提升 4 倍。该模型在保持生成质量的同时，显著降低了推理延迟，适用于需要快速响应的应用场景。DiffusionGemma 通过并行生成 token 而非逐个生成，实现了速度飞跃。这一进展对实时对话系统、内容生成等场景具有重要意义。

AI模型文本生成扩散模型推理加速 DeepMind DiffusionGemma

推荐理由：做文本生成应用的开发者，如果你的产品对延迟敏感，DiffusionGemma 的 4 倍加速值得一试，能直接提升用户体验。

原文

6月10日

12:07

官方账号arXiv cs.LG@Xuezhen Xie, Zhiqiang Zhou

精选

CLP提出了一种新的多Token预测（MTP）加速方法，解决了现有MTP方法中“头-主干竞争”导致的质量下降问题。该方法通过“主干即架构”原则，让主干语言模型头始终生成第一个Token，MTP头只负责后续Token。CLP使用轻量级线性层（4.6K-7.7K参数）预测可安全接受的Token数量，在Qwen2.5模型上实现1.14x-1.29x加速，且质量零损失（重复率<0.02），优于传统门控网络方法。实验表明，较短的预测窗口（k=2）在大模型上可恢复24%的MTP头准确率，为未来加速研究提供了清晰路线图。

论文推理加速多Token预测 Qwen2.5 零损失轻量架构

推荐理由：CLP解决了多Token预测加速中质量下降的核心痛点，做LLM推理优化的团队可以直接参考其轻量设计，在保持输出质量的同时获得稳定加速。

原文

6月9日

13:29

xiaomimimo@xiaomimimo

88°

小米与TileRT AI合作发布MiMo-V2.5-Pro-UltraSpeed，首次在1万亿参数模型上实现超过1000 tokens/s的输出速度。该突破仅使用单个标准8-GPGPU节点，无需Cerebras的晶圆级集成或Groq的纯片上SRAM芯片。技术细节已公开，并提供限时免费试用和API服务。这标志着大模型推理效率的重大飞跃，有望推动实时AI应用的普及。

AI产品小米 MiMo 推理加速大模型 GPU

推荐理由：大模型推理速度的里程碑——1T模型跑出1000+ tokens/s，做实时AI应用和推理优化的团队值得关注，可以直接申请试用体验。

原文

00:49

官方一手marktechpost@Asif Razzaq

精选

小米MiMo团队与TileRT发布MiMo-V2.5-Pro-UltraSpeed推理模式。该模式在单个8-GPU普通节点上，使1万亿参数模型MiMo-V2.5-Pro的译码速度超过1000 tokens/秒。这是首次在commodity GPU上实现如此高吞吐量。相比此前方案，速度提升显著。

AI模型 MiMo TileRT MiMo-V2.5-Pro-UltraSpeed Xiaomi 推理加速

推荐理由：1万亿参数跑出1000t/s

原文

6月5日

12:06

官方账号arXiv cs.AI@Yutao Sun, Yanqi Zhang, Li Dong, Jianyong Wang, Furu Wei

精选

本文提出跨层稀疏注意力（CLSA），一种基于KV共享架构（如YOCO）的新方法。核心创新在于不仅共享KV缓存，还共享路由索引——单个索引器计算一次token级top-k选择，结果跨层复用，既保留了细粒度选择性，又分摊了路由开销。实验显示，在128K上下文下，CLSA实现最高7.6倍解码加速和17.1倍整体吞吐提升，同时保持模型质量。这为长上下文LLM提供了一种兼顾效率与质量的架构方案。

论文稀疏注意力长上下文推理加速 KV缓存 YOCO

推荐理由：长上下文推理的瓶颈终于有了系统级解法——CLSA通过共享路由索引同时加速预填充、缓存和解码，做LLM推理优化的团队值得看看这个架构思路。

原文

6月4日

01:21

Fireworks AI@FireworksAI_HQ

78°

MiniMax 发布了新模型 M3，其核心创新是 MiniMax Sparse Attention (MSA) 机制，在 1M token 长上下文场景下解码速度提升 15.6 倍。Fireworks AI 宣布与 MiniMax 合作，为本次发布提供推理支持。用户可前往 minimax.io 试用，模型权重发布后也将对 Fireworks 社区开放。这一突破显著降低了长上下文推理的延迟和成本，对需要处理超长文档、代码库或对话历史的开发者意义重大。

AI模型 MiniMax M3 稀疏注意力长上下文推理加速

推荐理由：长上下文推理的瓶颈被 MSA 大幅缓解，做 RAG、长文档分析或大上下文应用的团队值得立即体验，速度提升意味着更低的成本和更好的用户体验。

原文

6月2日

12:00

官方账号arXiv cs.AI@Junxia Cui, Haotian Ye, Runchu Tian, Hongcan Guo, Jinya Jiang, Haoru Li, Chaojie Ren, Yiming Huang, Kaijie Zhu, Zhongkai Yu, Kun Zhou, Jingbo Shang

精选

扩散大语言模型（dLLMs）作为自回归（AR）模型的替代方案，通过并行或块解码实现更快推理，但其掩码语言建模公式与标准token级推测解码不兼容。AR模型利用因果掩码实现单次前向验证多个草稿token，而dLLMs依赖掩码token和双向注意力，导致有效上下文随去噪步骤变化，无法直接进行token级推测验证。为此，研究者提出SimSD，一种简单有效的推测解码算法，采用即插即用的掩码策略，为dLLMs提供时间上有效的token级上下文。该方法显式引入草稿模型的参考token，并设计注意力掩码调节其与当前步骤token的交互，使dLLMs能在单次前向前向计算草稿token的有效logits，恢复AR模型的验证能力同时保持dLLMs的并行解码优势。SimSD无需训练，可灵活集成KV缓存和块解码等加速技术，在四个基准测试中实现高达7.46倍的解码吞吐量提升，同时保持甚至改善平均生成质量。

论文推测解码扩散语言模型推理加速掩码策略训练无关

推荐理由：扩散语言模型终于有了实用的推测解码方案，做模型推理加速的团队可以直接集成SimSD，无需额外训练就能获得数倍吞吐提升，值得关注。

原文

09:39