AITOP

推理加速

共 70 条相关 AI 资讯
8月25日
22:28
11:10
11:10官方账号arXiv cs.LG@Chengjie Lu, Tianchi Deng, Zhengqi He, Chengwen Luo, Xueliang Li
ChebBooster通过切比雪夫多项式理论实现训练免费的外推框架，为扩散Transformer（DiTs）提供稳定高效的加速。在DiT-XL/2、PixArt-$Σ$和FLUX.1-dev等三个代表性模型上，ChebBooster在视觉质量和推理效率上均取得显著提升，达到$3.68 imes$延迟速度提升和$5.12 imes$浮点运算减少，优于现有训练免费基线。
论文ChebBooster扩散Transformer推理加速
推荐理由：这篇论文提出了ChebBooster，一种基于切比雪夫多项式的训练免费外推框架，能显著提升扩散Transformer的推理效率，值得一看。
原文
8月5日
10:06
10:06官方一手arXiv: DeepSeek@Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang
Approximate Speculative Decoding（ASD）是一种免训练的投机解码验证器，用预算化的最长前缀选择替代逐位截断，在保留目标贪心后缀的同时接受部分不匹配token。在Qwen3-14B+DSpark-14B的七项任务上，ASD相比严格验证平均提升7.78%吞吐，区间为3.05%到15.26%。在FP4到FP8兼容设置下，DeepSeek-V4-Flash（284B）搭配DSpark时，GSM8K和MATH-500上的验证方接受率提高约10%到16%。该方法无需新草稿模型或微调，预算为零时精确退化为标准贪心验证，代码已开源。
论文ASD投机解码Qwen3-14B
事件专题
推荐理由：这篇论文搞了个叫ASD的投机解码改进，不用重新训练就能提速，实测吞吐最高涨15%，代码也开源了，跑推理的可以看看。
原文
09:56
09:56官方一手arXiv: OpenAI@Shun-ichiro Hayashi, Daichi Mukunoki, Tetsuya Hoshino, Takahiro Katagiri
ATFlash 提出按 RoPE 每个频率分量的波长设定注意力距离窗口，对 Qwen2.5-0.5B 和 Llama-3.2-3B 可剪掉 37%–48% 的 query-key 内积项。与滑窗不同，低频分量仍能访问所有 key，剪枝率与输入无关，闭式复杂度随序列长度 N 对数增长。在 LongBench-v2 上 top-1 匹配率保持 96%–98%，输出分布 KL 在 10^-3 nat 量级；RULER、OpenAI-MRCR、LongCodeQA、∞Bench 分数基本不变。移植到 FlashAttention-4 和 FlashInfer 后，RTX PRO 6000 上 Llama 推理最高提速 1.29 倍（128K），Qwen2.5-7B-1M 在 1M token 上下文剪掉 57% 内积项，端到端提速 1.31 倍。
论文ATFlashRoPEFlashAttention
事件专题
推荐理由：ATFlash 在 1M token 上下文把 Qwen2.5-7B 提速 1.31 倍，精度不掉，而且能直接叠加现有稀疏方法。
原文
7月29日
21:23
7月28日
12:32
12:32官方一手arXiv: DeepSeek@Dengke Han
精选
DraftExpert针对在端侧设备（CPU-GPU或Flash-NPU卸载）部署大型MoE语言模型时的延迟问题，提出了一种扩展感知的自推测解码框架。它通过自蒸馏从冻结目标MoE中为每层训练一个轻量级驻留加速器的草稿专家，推理时使用固定足迹的共享+top-1+草稿专家解码器，结合置信度扩展截断和目标专家预取。在DeepSeek-V2-Lite和Moonlight-16B-A3B上，解码吞吐量平均提升1.45倍，草稿接受率达到84%~87%，预取命中率86%~88%。
论文DraftExpertMoE自推测解码
推荐理由：论文提出DraftExpert，通过训练轻量草稿专家和预取机制，让端侧MoE模型推理速度提升1.45倍，适合关注边缘部署和推理加速的朋友。
原文
7月27日
16:21
16:21官方一手Pandaily@contact@pandaily.com (Pandaily)
Lightelligence 在 WAIC 2026 上展示了全球首个实际部署的光计算系统——天书光立方门禁控制。该公司同步发布 PACE 3 光芯片，其 256x256 光子矩阵用于低延迟推理任务。该芯片已在真实场景中运行，标志光计算从实验室走向商业化。PACE 3 的光子矩阵设计相比传统电子芯片在功耗和延迟上有数量级优势。
AI模型LightelligencePACE 3光子芯片
推荐理由：Lightelligence 把光计算从论文带到了真实门禁系统里，PACE 3 芯片的 256x256 矩阵能跑低延迟推理，是商用落地的首个案例，值得关注。
原文
7月23日
23:04
23:04techcrunch@Julie Bort
Etched由三位哈佛辍学生创立，开发了新型芯片和内存组件，声称可加速任何AI模型的推理过程，无需GPU。该公司最新估值达到103亿美元，吸引了多位知名投资者。这一成绩挑战了传统AI芯片市场格局。
行业Etched哈佛AI芯片
事件专题
推荐理由：Etched做了不用GPU的AI推理芯片，三位哈佛辍学生搞出了103亿美元估值，和英伟达路线不同，挺有意思。
原文
22:38
7月22日
16:06
7月20日
12:00
7月16日
10:46
7月15日
09:46
09:46官方一手arXiv: DeepSeek@Jincheng Xie, Runheng Liu, Heyan Huang, Yawen Ling, Hanbin Dai, Yu Zheng, Wen Hu
精选
稀疏混合专家（MoE）模型在扩展LLM时依赖专家激活模式，现有投机解码忽视专家激活成本，导致专家散射增加内存流量。EcoSpec通过轻量级专家预测器和动态专家缓冲区，在保持高接受率前提下优先复用了当前验证集的专家路径。在DeepSeek-V3.1（671B）、Qwen3-235B-A22B、GPT-OSS-120B三个大规模MoE模型上，于推理、编码、问答和对话基准测试中，EcoSpec持续减少活跃专家足迹，最高实现1.62倍解码速度提升。
论文EcoSpecMoE投机解码
推荐理由：这篇论文提出EcoSpec，在DeepSeek-V3.1等MoE模型上通过成本感知投机解码最高提速1.62倍，值得关注。
原文
7月12日
20:29
7月11日
06:22
06:22官方账号Clement Delangue@ClementDelangue
精选
Hugging Face 与 Google Gemma 联合举办的 Gemma Challenge 结果出炉。超过100个 AI agent 和人类在6天内协作，将 Gemma 4 推理速度在单张 NVIDIA A10G GPU 上提升5倍，达到491.8 TPS（最快但有质量损失），无损方案达315 TPS。项目展示了多智能体协作优化模型推理的潜力。
AI模型Gemma 4Hugging Face推理加速
事件专题
推荐理由：Hugging Face 和 Google 搞了个挑战赛，100多个 AI agent 和人类一起把 Gemma 4 推理速度在单张 A10G 上提升了5倍，最快冲到491.8 TPS，挺酷的。
原文
7月10日
23:28
10:11
7月9日
19:20
7月8日
16:44
16:35
16:35techcrunch@Anna Heim
ZML是一家由图灵奖得主Yann LeCun背书的法国AI初创公司，近期推出免费产品ZML/LLMD。该软件旨在加速AI推理过程，特别是在大量AI芯片上运行时的效率。通过优化推理速度，ZML/LLMD有望降低AI部署的计算成本。
AI产品ZMLZML/LLMDYann LeCun
推荐理由：ZML这波免费发布推理加速软件，能让多芯片推理跑得更快、更省钱，尤其适合做大规模部署的人。
原文
12:19
12:19官方账号arXiv cs.AI@Anna Cordoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesus Olivera
DepthWeave-KV是一种跨层键值缓存压缩方法，通过共享低秩通道基分解相邻层状态，保留令牌特定残差。它使用令牌条件深度路由器为指令型和检索关键令牌分配更高重构秩，并通过注意力输出探头在线追踪误差自适应压缩。在LongBench等基准上，DepthWeave-KV实现近满缓存任务质量，压缩比达8.3倍，64K上下文速度72.8 tokens/s。
论文DepthWeave-KVKV缓存压缩长上下文
推荐理由：长上下文推理内存瓶颈有救了！DepthWeave-KV用跨层分解加自适应压缩，8.3倍KV缓存缩减，速度72.8 tokens/s，比其他方法效果更好。
原文
7月7日
16:51
16:51@koltregaskes@koltregaskes
73°
OpenAI 宣布其大型模型 GPT-5.6 Sol 将在 Cerebras 硬件上提供推理服务，速度高达 750 tokens 每秒。官方表示该版本与原始模型“相同”，但可能在上下文窗口大小等参数上有调整。该部署预计显著提升推理效率，适用于高吞吐场景。
AI模型GPT-5.6 SolOpenAICerebras
事件专题
推荐理由：OpenAI 把 GPT-5.6 Sol 放到 Cerebras 上跑，推理速度飙到 750 tokens/s，比常规部署快很多，适合追求低延迟的场景。
原文
11:49
11:49官方一手arXiv: DeepSeek@Xin Cheng, Xingkai Yu, Chenze Shao, Jiashi Li, Yunfan Xiong, Yi Qian, Jiaqi Zhu, Shirong Ma, Xiaokang Zhang, Jiasheng Ye, Qinyu Chen, Chengqi Deng, Jiping Yu, Damai Dai, Zhengyan Zhang, Yixuan Wei, Yixuan Tan, Wenkai Yang, Runxin Xu, Yu Wu, Zhean Xu, Xuanyu Wang, Muyang Chen, Rui Tian, Xiao Bi, Zhewen Hao, Shaoyuan Chen, Huanqi Cao, Wentao Zhang, Anyi Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang
76°
DSpark是一种新型投机解码框架，通过半自回归架构（并行骨干网络+轻量级顺序模块）保持草稿质量，缓解后缀衰减。它采用置信度调度验证，根据前缀存活概率和引擎吞吐量动态调整每轮验证长度。在离线多领域基准测试中，DSpark的接受长度显著优于现有自回归和平行草稿器。在DeepSeek-V4服务系统的真实用户流量下，相比生产基线MTP-1，DSpark在维持吞吐量不变时单用户生成速度提升60%至85%。DSpark还通过防止高并发下吞吐量严重退化，使服务系统达到了此前无法实现的性能层级。
AI模型DSparkDeepSeek-V4投机解码
推荐理由：DeepSeek-V4搞了个新框架DSpark，把生成和验证分开调度，用户实际体验加速60%到85%，还不会拖慢系统吞吐。
原文
7月6日
19:51
7月2日
20:30
20:30官方账号vLLM@vllm_project
精选
DeepSeek 的 DSpark 投机解码技术现已原生集成到 vLLM 推理框架中。DSpark 是一种半自回归草稿模型，通过非因果滑动窗口注意力并行生成多个 token，单次验证即可保持输出一致，减少解码步数。在 NVIDIA 8×B300 GPU 上，DeepSeek-V4-Pro-DSpark 在 batch size 1 时达到约 250 tokens/s，平均接受长度约 5，且在不同草稿深度下比 MTP 方法接受率高 12-42%。vLLM 通过复用 SparseMLA 后端、捕获完整草稿主干和采样循环到单一 CUDA graph，并支持前缀缓存和 FP8 KV cache。
AI模型DeepSeekvLLMDSpark
事件专题
推荐理由：DeepSeek 把 DSpark 开源自带进 vLLM，跑 DeepSeek-V4 实测单卡 250 token/s，比 MTP 快 12-42%，想搞投机解码的可以试试。
原文
07:33
03:52
7月1日
10:08
10:08官方账号arXiv cs.AI@Zhaoyang Luo, Runmin Dong, Miao Yang, Fan Wei, Yushan Lai, Bin Luo, Haohuan Fu
论文提出一种操作级视觉令牌跳过框架，将Transformer层分解为注意力与FFN操作，选择性跳过冗余计算。实验覆盖3种MLLM架构（含Qwen3-VL）和10个VQA基准，实现精度-效率权衡：在Qwen3-VL上减少33.7% TFLOPs，保留99.5%的原始性能。关键发现是晚期视觉令牌更新对答案表示影响很小，且有效计算具有操作主导性和层依赖性。
论文MLLMQwen3-VL推理加速
推荐理由：这篇论文告诉你如何在不牺牲性能的前提下大幅降低多模态大模型的计算量。他们在Qwen3-VL上砍了33.7%的算力，性能只掉了0.5%，方法很巧妙。
原文
02:48
02:48Amjad Masad@amasad
精选
AI推理成本高昂的原因之一是多数工作负载运行在预LLM时代的通用硬件上。Etched从隐身模式亮相，其系统专为现代推理从零设计。公司已获得超过10亿美元客户合同和8亿美元融资。早期测试显示，在推理工作负载上吞吐量、延迟和能效均达到SOTA。首批机架将于今年夏季发货。
AI产品EtchedAI推理专用芯片
事件专题
推荐理由：Etched做了专为AI推理优化的芯片，比通用硬件在吞吐、延迟、能效上都做到了目前最好。今年夏天就发货，关注成本的人可以看看。
原文
6月30日
06:35
6月28日
13:11
13:11官方一手pandaily@contact@pandaily.com (Pandaily)
DeepSeek 发布 DSpark 推测解码框架，可将文本生成速度提升 80%。该框架优化推理效率，标志着 AI 竞争焦点从训练规模转向实际部署。DSpark 采用推测解码技术，通过小模型草稿加速大模型生成。
AI模型DeepSeekDSpark推理加速
推荐理由：DeepSeek 的 DSpark 框架让模型生成快八成，推理部署更省算力，搞推理优化的可以看看。
原文
11:19
01:07
6月24日
15:30
15:30官方一手marktechpost@Asif Razzaq
76°
UC San Diego推出DFlash，用轻量级块扩散模型替代自回归起草器，实现投机解码。该方法通过单次前向传播生成整块token，并利用KV注入条件于目标隐藏特征。在Qwen3-8B上达到6.08倍无损加速，NVIDIA报告在Blackwell上固定交互性下吞吐量提升15倍。DFlash已发布20个检查点，支持SGLang、vLLM和TensorRT-LLM。
AI模型DFlashQwen3-8BNVIDIA Blackwell
事件专题
推荐理由：UC San Diego搞了个新方法DFlash，用扩散模型直接生成整段token，比自回归快几倍，Qwen3-8B上6倍加速，Blackwell上15倍，还开源了检查点，搞推理加速的可以看看。
原文
6月17日
01:55
6月16日
11:56
11:56官方一手arXiv: DeepSeek@Yingnan Zhao, Razvan Bunescu, Ahmed Louri, Avinash Karanth, Ke Wang
针对MoE模型（如Qwen、DeepSeek）推理中专家加载延迟高的问题，研究者分析了专家选择行为，发现相邻MoE层和连续解码token间专家请求存在强相关性。基于此提出ST-MoE，一个结合轻量级运行时预测机制与可重构硬件设计的专家预取框架。ST-MoE通过预取专家与计算重叠，显著提升推理性能并降低能耗，同时保持模型精度。实验在多种MoE模型和应用（语言理解、代码生成）上验证了有效性。
论文MoEQwenDeepSeek
推荐理由：这篇论文分析了Qwen、DeepSeek等MoE模型的专家加载瓶颈，用ST-MoE框架通过预取专家来加速推理，兼顾效率和精度，适合关注大模型推理优化的读者。
原文
02:16
6月15日
11:11
11:11官方账号arXiv cs.LG@Ali Asaria, Tony Salomone, Deep Gandhi
精选
论文发现消费级Ampere GPU上扩散Transformer的INT8量化常因反量化回bf16而无法利用INT8张量核心。作者为Ideogram 4.0线性层设计了一个融合Triton INT8 GEMM内核，在Ampere张量核心上执行int8×int8→int32，并在epilogue中折叠逐token×逐通道反量化和偏置。该内核实现2.8-4.2倍于bf16的GEMM加速，并保持余弦相似度1.0且无NaN。端到端测试中，在单张RTX 3090上768px分辨率获得约9-10%提速，1024px生成耗时156.5秒，优于NF4（164.5秒）和FP8（172.9秒）基线，且PickScore/CLIPScore无质量损失。
论文Ideogram 4.0RTX 3090INT8
事件专题
推荐理由：INT8反超FP8，单卡RTX 3090跑1024px扩散模型
原文
6月12日
12:31
12:31karminski-牙医 (AI工具)@karminski3
精选
Google发布了Gemma小模型的Diffusion版本，名为Diffusion Gemma，大小26B但激活参数量仅4B。与NVIDIA合作针对RTX 4090和5090优化，5090上每秒可生成700+ token。Diffusion模型像刮奖一样逐片生成文本，速度远快于传统逐字生成模型，但输出质量略低。在AIME 2026数学测试中达到Gemma4-26B-A4B的94%水平，在Agent能力测试中达到82%。4bit量化版本仅需16G显存即可运行。
AI模型Diffusion模型GemmaGoogle
事件专题
推荐理由：Diffusion Gemma把文本生成速度拉到单卡700TPS，做实时对话或高吞吐推理的团队可以直接用，4bit量化16G显存就能跑，值得试试能否做投机解码的草稿模型。
原文
12:10
12:10官方账号vLLM@vllm_project
精选73°
GoogleDeepMind 推出了 DiffusionGemma，这是一个基于 Gemma4 架构的 26B 参数扩散语言模型（dLLM），并成为 vLLM 原生支持的首个扩散语言模型。与传统自回归模型逐个生成 token 不同，DiffusionGemma 能并行去噪 256 个 token 的块，在单张 H200（FP8）上以 batch size 1 实现超过 1200 输出 token/秒的吞吐量。该模型通过 vLLM 的 model runner v2 的 ModelState 和现有推测解码路径实现，对调度器和运行器改动极小。FP8 和 NVFP4 检查点已托管在 RedHat AI 中心，由 GoogleDeepMind、RedHat AI 和 NVIDIA AI 团队合作完成。这一进展标志着扩散模型在高效文本生成领域迈出重要一步。
AI模型扩散语言模型vLLMGoogleDeepMind
事件专题
推荐理由：DiffusionGemma 用并行去噪替代逐 token 生成，大幅提升推理速度，做大规模文本生成或实时应用的团队可以直接在 vLLM 中体验，值得关注。
原文