推理加速相关 AI 资讯

模型 Agent 与开发者精选03:35

Qwen-Image-2.1 官方 8 步 turbo 模型上线

用 Qwen-Image-2.1 画图的朋友可以试试这个官方 turbo 版，8 步就出图，比默认采样快不少，推理加速可以搭配 vllm-omni。

#Qwen-Image-2.1 #文生图 #推理加速 #开源模型

Xianbao Qian@Xianbao_QIAN原文

论文 Agent 与开发者精选11:05

论文提出 EDR 目标函数优化并行投机解码草稿模型训练

一篇加速 LLM 推理的论文，把投机解码建模成马尔可夫过程，微调 DSpark 和 DFly 后在九个基准上超过原有训练方法。

#投机解码 #DSpark #DFly #推理加速

arXiv cs.AI@Yunxiao Zhao, Changxiao Cai原文

模型 Agent 与开发者精选11:10

vLLM 长上下文基准：双 RTX 5090 跑出 110 tok/s

vLLM 官方转发的长上下文基准，双张 RTX 5090 就能跑到 110 tok/s，想自己搭推理服务的话很有参考价值。

#vLLM #RTX 5090 #推理加速 #长上下文

官方账号vLLM@vllm_project原文

论文 Agent 与开发者10:34

Level-of-Token Diffusion：按需分配算力的多分辨率图像视频生成框架

一篇很巧的论文：让扩散模型在需要细节的地方用细 token、别处用粗 token，预训练模型不用重训就能提速，还能接智能体的规划布局。

#LoT Diffusion #扩散模型 #DiT #视频生成

arXiv cs.AI@Kiyohiro Nakayama 等 8 人原文

论文 Agent 与开发者20:34

COFLOW：根据提示自适应选择步数，视觉生成提速超2.5倍

一篇论文提出 COFLOW，按 prompt 动态决定扩散步数，图像视频都能提速 2.5 倍还不用重训模型，做生成的可以看看。

#Flow Matching #图像生成 #视频生成 #推理加速

arXiv cs.AI@Divya Jyoti Bajpai 等 3 人原文

行业 Agent 与开发者05:21

Cerebras CEO 解释晶圆级架构为何推理比 GPU 快 2500 倍

Cerebras 的 CEO 亲自讲清楚自家芯片为什么比 GPU 快 2500 倍，关键就在权重存在 SRAM 而不是 HBM，听完就懂。

#Cerebras #GPU #推理加速 #LLM推理

rohanpaul_ai@rohanpaul_ai原文

技巧 Agent 与开发者精选01:55

Qwen Flash 本地部署速度提升近十倍：单卡达到 2200 prefill / 67 decode

一个玩家用单张消费卡跑出比多数 API 还快的推理速度，靠的是 Qwen Flash 的模型设计和 Strata 流水线架构，文章讲清了原理，本地部署党别错过。

#Qwen Flash #DeepSeek #Strata #本地部署

orange.ai@oran_ge原文

论文 Agent 与开发者精选10:41

多令牌预测头后训练方法研究

DeepSeek团队发现，只需少量后训练就能让Qwen3-8B达到与MiMo-7B相当的推理速度，比原方法节省千倍训练资源。

#Qwen3 #MiMo-7B #DeepSeek #多令牌预测

arXiv: DeepSeek@Prachi Badarayani 等 11 人原文

产品 Agent 与开发者精选76°10:16

Volantis获8800万美元A轮融资

Volantis用光学技术让大模型推理速度提升百倍，编程助手从几小时缩短到几分钟。

#Volantis #编程助手 #光学技术 #推理加速

elvis@omarsar0原文

论文 Agent 与开发者14:43

Sol-H3 加速 MiniMax-H3 推理：云端最高 30 倍提速、边缘单卡可运行

MiniMax-H3 生成太慢太吃显存？这篇把云端和边缘两端都解决了，最快 30 倍提速，单张 DGX Spark 就能跑视频生成。

#MiniMax-H3 #Sol-H3 #视频生成 #推理加速

事件专题

arXiv cs.AI@Yitong Li 等 9 人2 个信源在谈原文

论文 Agent 与开发者精选09:13

Co-Fabric：跨主机域统一 xPU 互连架构，加速 DeepSeek R1 推理 30%-80%

一篇体系结构论文，做了个跨主机的总线互连，64 卡系统上把 RoCE 的延迟砍一半，跑 DeepSeek R1 快 30%-80%，做 AI 集群的你看看。

#Co-Fabric #RoCE #DeepSeek #互连架构

arXiv: DeepSeek@Zhen Peng 等 19 人原文

论文 Agent 与开发者14:27

树状推测解码适配 DeepSeek-V4，吞吐最高提升 18.5%

DeepSeek-V4 用上树状推测解码，吞吐最高快 18.5%，论文还讲了什么负载收益最大。

#DeepSeek-V4 #推测解码 #推理加速

arXiv: DeepSeek@Changxu Liu, Zhaogeng Li原文

产品 Agent 与开发者多源确认精选73°16:51

HyperAccel Bertha 4nm AI芯片量产

HyperAccel的Bertha 500芯片量产，性能对标H100，数据中心推理场景的新选择。

#HyperAccel #Bertha #AI芯片 #数据中心

事件专题

IT之家9 个信源在谈原文

论文 Agent 与开发者07:12

通过离散扩散实现LLM无损加速

这篇论文介绍了一种能加速LLM又不损失质量的新方法，速度提升2-3倍，对实际应用很有价值。

#离散扩散 #LLM #推理加速 #开源模型

AK@_akhaliq原文

模型78°20:05

PACE框架加速视觉语言模型推理

清华团队推出PACE框架，让Qwen2.5-VL-7B推理速度提升3.1倍，性能只损失6.2%

#PACE #Qwen2.5-VL-7B #视觉语言模型 #推理加速

arXiv cs.AI@Junjie Liu 等 3 人原文

模型中美对照多源确认78°22:28

OpenAI的Jalapeño芯片加速推理，基准测试显示

想了解OpenAI如何加速推理？Jalapeño芯片的表现值得关注。它比现有技术更快，值得一看。

#OpenAI #Jalapeño芯片 #推理加速 #基准测试

事件专题

techcrunch@Russell Brandom11 个信源在谈原文

论文11:10

ChebBooster：基于切比雪夫多项式的训练免费扩散Transformer推理加速框架

这篇论文提出了ChebBooster，一种基于切比雪夫多项式的训练免费外推框架，能显著提升扩散Transformer的推理效率，值得一看。

#ChebBooster #扩散Transformer #推理加速 #切比雪夫多项式

arXiv cs.LG@Chengjie Lu 等 5 人原文

论文多源确认10:06

近似投机解码ASD：免训练加速自回归生成

这篇论文搞了个叫ASD的投机解码改进，不用重新训练就能提速，实测吞吐最高涨15%，代码也开源了，跑推理的可以看看。

#ASD #投机解码 #Qwen3-14B #DeepSeek-V4-Flash

事件专题

arXiv: DeepSeek@Yuannuo Feng 等 8 人8 个信源在谈原文

论文多源确认09:56

ATFlash：按 RoPE 波长分窗的注意力剪枝方法

ATFlash 在 1M token 上下文把 Qwen2.5-7B 提速 1.31 倍，精度不掉，而且能直接叠加现有稀疏方法。

#ATFlash #RoPE #FlashAttention #长上下文

事件专题

arXiv: OpenAI@Shun-ichiro Hayashi 等 4 人4 个信源在谈原文

模型 Agent 与开发者精选72°21:23

腾讯混元开源AngelSpec投机解码框架，DFly实现1.98-2.40倍加速

腾讯混元开源了AngelSpec，一个能帮你的模型推理提速近2倍的投机解码框架，实测比DFlash还快10%以上，代码和权重都直接可用了。

#AngelSpec #DFly #Tencent Hunyuan #Hy3-A21B

Hunyuan@TXhunyuan原文

论文 Agent 与开发者精选12:32

DraftExpert：面向端侧MoE推理的扩展感知自推测解码框架

论文提出DraftExpert，通过训练轻量草稿专家和预取机制，让端侧MoE模型推理速度提升1.45倍，适合关注边缘部署和推理加速的朋友。

#DraftExpert #MoE #自推测解码 #推理加速

arXiv: DeepSeek@Dengke Han原文

模型官方一手16:21

Lightelligence 发布 PACE 3 光子芯片，256x256 矩阵实现光计算商用部署

Lightelligence 把光计算从论文带到了真实门禁系统里，PACE 3 芯片的 256x256 矩阵能跑低延迟推理，是商用落地的首个案例，值得关注。

#Lightelligence #PACE 3 #光子芯片 #光计算

官方一手Pandaily@[email protected] (Pandaily)原文

行业多源确认23:04

AI芯片初创公司Etched估值103亿美元，获知名投资者支持

Etched做了不用GPU的AI推理芯片，三位哈佛辍学生搞出了103亿美元估值，和英伟达路线不同，挺有意思。

#Etched #哈佛 #AI芯片 #推理加速

事件专题

techcrunch@Julie Bort3 个信源在谈原文

模型中美对照精选22:38

Miles 引入 OPD：使 Qwen3.5-35B 推理缩短 3 倍且精度提升

Miles 发布了 OPD 方法，让 Qwen3.5 模型推理更快更准，无需任务奖励，比传统蒸馏更高效，适合模型压缩场景。

#Miles #OPD #Qwen3.5-35B #模型蒸馏

事件专题

官方账号LMSYS Org (SGLang)@lmsysorg2 个信源在谈原文

产品精选16:06

东擎为边缘平台导入Axelera AI Metis加速器，至高扩充214 TOPS算力

东擎联手Axelera AI，边缘设备轻松加上214 TOPS算力，功耗低至8W，部署AI更省心了。

#东擎 #Axelera AI #Metis #边缘AI

IT之家原文

产品多源确认12:00

芯展速 AI90 方案将 SSD 纳入显存，首 Token 延迟缩短 50 倍

芯展速用SSD给显卡做显存扩展，首Token快了50倍，8卡RTX 5090集群也能跑128K上下文，适合长文本推理场景。

#芯展速 #AI90 #PT200Z #NVIDIA GeForce RTX 5090

事件专题

IT之家7 个信源在谈原文

论文10:46

LiteTopK：利用维度诅咒加速长上下文稀疏注意力

这个新方法挺聪明，用高维空间特性优化注意力计算，在GLM 5.2上实测提速1.2倍还省内存。

#LiteTopK #GLM 5.2 #稀疏注意力 #推理加速

arXiv: DeepSeek@Ziqi Yin 等 5 人原文

论文精选09:46

EcoSpec：成本感知的MoE模型投机解码加速方法

这篇论文提出EcoSpec，在DeepSeek-V3.1等MoE模型上通过成本感知投机解码最高提速1.62倍，值得关注。

#EcoSpec #MoE #投机解码 #推理加速

arXiv: DeepSeek@Jincheng Xie 等 7 人原文

模型中美对照精选72°20:29

Cohere 硬件感知动态投机解码合并入 vLLM

vLLM 合并了 Cohere 的动态投机解码，能根据硬件和批次大小自适应，想提升推理速度的可以试试。

#Cohere #vLLM #Dynamic SD #推理加速

官方账号vLLM@vllm_project原文

模型多源确认精选06:22

Hugging Face Gemma Challenge：AI Agent 与人类协作将 Gemma 4 推理速度提升5倍

Hugging Face 和 Google 搞了个挑战赛，100多个 AI agent 和人类一起把 Gemma 4 推理速度在单张 A10G 上提升了5倍，最快冲到491.8 TPS，挺酷的。

#Gemma 4 #Hugging Face #推理加速 #NVIDIA A10G

事件专题

官方账号Clement Delangue@ClementDelangue9 个信源在谈原文

技巧 Agent 与开发者官方一手精选23:28

在SageMaker HyperPod上实现LLM推理的分离预填充和解码

AWS教你用vLLM在SageMaker HyperPod上把LLM推理分成两段跑，延迟更低，实操步骤写得挺清楚。

#SageMaker HyperPod #vLLM #DPD #推理加速

官方一手AWS Machine Learning Blog@Xuan Lu原文

产品10:11

谷歌发布LiteRT.js，Web AI推理速度提升3倍

谷歌出了个LiteRT.js，用WebAssembly让浏览器跑AI比TensorFlow.js快3倍，尤其在M4 MacBook上效果明显。

#LiteRT.js #谷歌 #WebAssembly #TensorFlow.js

IT之家原文

产品 Agent 与开发者精选76°19:20

Transformers v0.25.0: 450+架构无需移植即可在vLLM原生加速

vLLM和Hugging Face搞了个大活：Transformers v0.25.0直接兼容vLLM，450多个模型自动加速，不用自己写适配代码了，开箱即用！

#vLLM #Hugging Face #Transformers #v0.25.0

官方账号vLLM@vllm_project原文

行业多源确认16:44

NVIDIA 与 d-Matrix 合作打造混合算力基础设施

NVIDIA 和 d-Matrix 搞了个混合算力方案，GPU 负责预填充、专用芯片负责解码，推理 Token 生成速度翻了 10 倍。不是单纯的拼硬件，是真正分工优化。

#NVIDIA #d-Matrix #Corsair #推理加速

事件专题

IT之家11 个信源在谈原文

产品16:35

法国AI创企ZML发布免费推理加速软件ZML/LLMD

ZML这波免费发布推理加速软件，能让多芯片推理跑得更快、更省钱，尤其适合做大规模部署的人。

#ZML #ZML/LLMD #Yann LeCun #推理加速

techcrunch@Anna Heim原文

论文12:19

DepthWeave-KV: 面向长上下文的KV缓存压缩方法

长上下文推理内存瓶颈有救了！DepthWeave-KV用跨层分解加自适应压缩，8.3倍KV缓存缩减，速度72.8 tokens/s，比其他方法效果更好。

#DepthWeave-KV #KV缓存压缩 #长上下文 #推理加速

arXiv cs.AI@Anna Cordoba 等 7 人原文

模型中美对照多源确认73°16:51

GPT-5.6 Sol 将部署在 Cerebras 硬件上，推理速度达 750 tokens/s

OpenAI 把 GPT-5.6 Sol 放到 Cerebras 上跑，推理速度飙到 750 tokens/s，比常规部署快很多，适合追求低延迟的场景。

#GPT-5.6 Sol #OpenAI #Cerebras #推理加速

事件专题

@koltregaskes@koltregaskes11 个信源在谈原文

模型76°11:49

DSpark: 置信度调度投机解码与半自回归生成

DeepSeek-V4搞了个新框架DSpark，把生成和验证分开调度，用户实际体验加速60%到85%，还不会拖慢系统吞吐。

#DSpark #DeepSeek-V4 #投机解码 #推理加速

arXiv: DeepSeek@Xin Cheng 等 33 人原文

论文精选73°19:51

极简方案刷新扩散模型推理纪录，阿里清华论文入选ICML杰出论文

阿里和清华的新研究，用极简单的方法把扩散模型推理速度刷到新纪录，还拿了ICML杰出论文，搞生成模型的快看。

#阿里 #清华 #ICML #扩散模型

量子位@量子位的朋友们原文

模型中美对照多源确认精选20:30

DeepSeek DSpark 投机解码原生集成 vLLM，性能提升显著

DeepSeek 把 DSpark 开源自带进 vLLM，跑 DeepSeek-V4 实测单卡 250 token/s，比 MTP 快 12-42%，想搞投机解码的可以试试。

#DeepSeek #vLLM #DSpark #投机解码

事件专题

官方账号vLLM@vllm_project9 个信源在谈原文