推理优化相关 AI 资讯

产品 Agent 与开发者多源确认精选03:04

NVIDIA Dynamo 发布博客：面向 Agent 工作负载的 KV 缓存复用方案

如果你的 Agent 跑得慢、GPU 显存被 KV cache 吃满，这篇 NVIDIA Dynamo 的博客讲了 router 加 KV-cache manager 怎么复用上下文，值得照着调优。

#NVIDIA #Dynamo #KV cache #智能体

事件专题

官方账号PyTorch@PyTorch11 个信源在谈原文

技巧 Agent 与开发者多源确认19:14

H-Company 用 NVIDIA Dynamo 优化面向 Computer Use 智能体的 VLM 推理服务

H-Company 聊了怎么用 NVIDIA Dynamo 优化跑 Computer Use 智能体的 VLM 服务，做 agent 推理部署的可以看看他们的实践。

#NVIDIA Dynamo #H-Company #Computer Use #VLM

事件专题

官方账号NVIDIA AI@NVIDIAAI11 个信源在谈原文

产品 Agent 与开发者多源确认精选83°17:35

vLLM v0.31.0 发布

vLLM 团队发布了新版本，优化了多种模型支持和服务性能，特别适合需要大规模部署 AI 应用的开发者。

#vLLM #DeepSeek-V4.1-Flash #Gemma4 #KV缓存

事件专题

官方账号vLLM@vllm_project5 个信源在谈原文

模型 Agent 与开发者精选09:59

vLLM 分享 DeepSeek-V4.1-Flash 的 SWA bounded replay 优化

37FlowAI 拆解了 DeepSeek-V4.1-Flash 在 vLLM 上跑 agent 的优化细节，SWA bounded replay 能明显降低 TTFT，搞部署的可以看看。

#DeepSeek #vLLM #KV cache #推理优化

官方账号vLLM@vllm_project原文

模型 Agent 与开发者精选11:10

vLLM 数据：配对 4:8 稀疏让 Kimi-K2.5 推理提速 1.18 倍

搞推理部署的可以看看：B200 上 4:8 稀疏让 MoE 专家层快 1.35-1.65 倍，Kimi-K2.5 实测也有 1.18 倍。

#vLLM #Kimi-K2.5 #B200 #4:8稀疏

官方账号vLLM@vllm_project原文

产品 Agent 与开发者精选10:55

vLLM v0.31.0 更新：权重常驻与引擎快照

vLLM 0.31.0 出了 preload 守护进程和 CRIU 引擎快照，重启服务不用重新加载量化权重，打算升级生产的可以先看看破坏性变更清单。

#vLLM #模型量化 #推理优化 #开发者工具

官方账号vLLM@vllm_project原文

论文 Agent 与开发者多源确认精选09:33

NVIDIA 提出 NCCL M2N 集合通信原语，优化分布式张量重分片

做 RL 训练或大规模推理部署的可以看，DeepSeek-V3 权重同步直接从 5.78 秒砍到 2.77 秒，还是进 NCCL 的正经方案。

#NCCL #DeepSeek-V3 #分布式训练 #GB200

事件专题

arXiv: DeepSeek@Kaushik Kandadi 等 9 人7 个信源在谈原文

论文 Agent 与开发者10:36

研究揭示 KV-Cache 选择性复用受请求顺序影响，文档对齐策略降低答案波动

跑长程智能体的开发者看看：KV-Cache 复用会导致同一提示词输出不同，论文给了文档对齐重算方案，波动从 69% 降到 26%，还保住 5.7 倍提速。

#KV-Cache #CacheBlend #智能体 #推理优化

arXiv cs.AI@Tiffany Gu 等 6 人原文

论文 Agent 与开发者09:28

InferOpt：把 LLM 推理配置搜索化为约束多目标优化

一篇教你怎么调推理配置的论文，Qwen 和 DeepSeek 两个空间上省缓存、降延迟都有具体数字，做推理优化的可以看看。

#InferOpt #Qwen2.5-7B #DeepSeek-V2-Lite #推理优化

arXiv: DeepSeek@Qi Chen 等 6 人原文

行业 Agent 与开发者09:04

MiniMax 工程师解析量化与投机解码对生产推理的影响

MiniMax 的工程师要拆解量化、投机解码这些加速手段在生产里的隐藏代价，做推理部署的可以去听听 10 月 14 日这场。

#MiniMax #量化 #投机解码 #推理优化

AI Engineer@aiDotEngineer原文

产品中美对照多源确认74°01:43

OpenAI 将 GPT 6 Astra 与 6.1 Sol 推理速度提升 50%

OpenAI 把 GPT 6 Astra 和 6.1 Sol 的推理提速了 50%，所有 ChatGPT 计划都能用上，几小时内推送完。

#GPT 6 Astra #GPT 6.1 Sol #OpenAI #ChatGPT

事件专题

Vaibhav Srivastav@reach_vb11 个信源在谈原文

产品 Agent 与开发者21:21

vLLM 项目感谢贡献者向 semantic-router 和 Mooncake 提交代码

vLLM 官方点名感谢开发者 Abhinandan，他给 semantic-router 和 Mooncake 都提交了代码，做推理优化的可以关注下这两个项目。

#vLLM #Mooncake #semantic-router #推理优化

官方账号vLLM@vllm_project原文

论文 Agent 与开发者20:35

JOVE：执行与验证联合调度，降低 LLM 任务图成本与延迟

把复杂任务拆成图后该派给哪个模型干？这篇论文给出了一套边执行边验证的在线调度方法，成本延迟降了 3 倍多。

#LLM #推理优化 #多模型调度 #在线学习

arXiv cs.AI@Haoran Zhang 等 7 人原文

模型 Agent 与开发者19:13

iS-KV：基于块增量 SVD 的在线 KV 缓存压缩方法

长链推理时 KV 缓存会爆炸，这篇提出用增量 SVD 压到 4-5 倍还能保住准确率，比删 token 的老办法稳，做推理部署的可以看看。

#KV缓存 #SVD #DeepSeek-R1-Distill-Llama-8B #Qwen3-8B

arXiv: DeepSeek@Yiren Zhao 等 6 人原文

产品 Agent 与开发者多源确认19:32

Strata：12G显存本地跑Qwen3.8-Flash-Next 125B模型

12G显存的电脑也能跑125B的Qwen3.8-Flash-Next了，Strata把常用专家放显卡、全量放内存，项目已在Github开源。

#Strata #Qwen3.8-Flash-Next #开源模型 #本地部署

事件专题

Gorden Sun@Gorden_Sun3 个信源在谈原文

论文 Agent 与开发者10:21

LoopCD提升循环Transformer解码效率

LoopCD让循环Transformer在不增加计算成本的情况下大幅提升解码质量，还能减少计算量。

#LoopCD #Looped Transformers #对比解码 #参数效率

事件专题

arXiv cs.LG@Weihao Liu 等 8 人2 个信源在谈原文

模型 Agent 与开发者10:20

Mira：内存高效MoE推理系统

清华团队推出Mira系统，解决MoE模型在单GPU上的内存瓶颈，预测专家预取让推理速度提升5倍以上。

#Mira #MoE #推理优化 #内存管理

arXiv cs.LG@Sanjali Yadav, Bahar Asgari原文

论文 Agent 与开发者16:09

UniCache：面向统一多模态模型的 KV 缓存压缩框架

一帮研究者做了个叫 UniCache 的免训练压缩框架，多模态模型缓存能压 5 倍，长上下文吞吐还能快 1.78 倍，做部署的可以看看。

#UniCache #KV缓存 #多模态 #长上下文

arXiv cs.LG@Wanqi Yang 等 5 人原文

论文 Agent 与开发者15:04

CascadeEP：异步专家执行解决 MoE 推理注意力不均衡问题

MoE 推理部署的人可以看看，DeepSeek-V4 和 GLM-5.3 上实测 TTFT 快了近一半，思路是让专家计算别干等慢副本。

#MoE #DeepSeek-V4 #GLM-5.3 #推理优化

arXiv: DeepSeek@Jin Qin 等 15 人原文

论文 Agent 与开发者13:49

TempoKV：让 LLM KV 缓存调度更省内存的分层方案

vLLM 和 LMCache 里能直接用的 KV 缓存调度优化，快速层容量从 100 GiB 砍到 25 GiB 吞吐基本不掉，还把 p95 首 token 时间降了 48%。

#TempoKV #vLLM #LMCache #KV缓存

arXiv cs.AI@Jay H. Park 等 3 人原文

论文 Agent 与开发者13:35

MaskCoFT：掩码协同微调降低 MoE 推理显存开销

跑 MoE 显存不够的人可以看看：微调路由加专家，Mixtral-8x7B 每层只缓存 4 个专家，取回次数降了 23.7%，速度更快精度还涨。

#MaskCoFT #Mixtral-8x7B #DeepSeek-V2-Lite #MoE

arXiv: DeepSeek@Junfeng Wu 等 6 人原文

论文 Agent 与开发者13:30

PReCache：免训练的 KV Cache 共享框架，多 LoRA 智能体 TTFT 提速最高 3.1 倍

多智能体跑长任务时每个 LoRA 都重算一遍上下文，这篇论文给了一套免训练的共享方案，提速最高 3.1 倍，做 agent 服务的值得看看实现思路。

#PReCache #LoRA #KV Cache #智能体

arXiv cs.LG@Hyesung Jeon 等 3 人原文

论文 Agent 与开发者13:28

DuplexCadence：让全双工语音模型运行提速 2.85 倍、峰值内存降低 38.8%

跑全双工语音模型的开发者可以看，它把推理速度提到原来的 2.85 倍还省内存，输出结果完全一致。

#DuplexCadence #全双工语音 #推理优化 #语音生成

arXiv cs.AI@Haixiao Gao 等 4 人原文

行业多源确认13:52

Chamath 解释推理两阶段：prefill 吃算力，decode 吃显存带宽

Chamath 用两句话讲清了推理时 prefill 和 decode 的区别，想搞懂为什么 Nvidia 在长上下文里占优的可以看看。

#Nvidia #prefill #decode #推理优化

事件专题

rohanpaul_ai@rohanpaul_ai11 个信源在谈原文

论文 Agent 与开发者多源确认精选10:18

EAServe 论文提出面向多模态 LLM 的 Encode 感知分离式推理服务

一篇推理系统论文，解决多模态模型 Encode 阶段拖垮 GPU 利用率的问题，goodput 比 vLLM 高 1.7 倍、比 NVIDIA Dynamo 高 4.3 倍，做 MLLM 服务的可以看看。

#EAServe #vLLM #NVIDIA Dynamo #多模态

事件专题

arXiv cs.LG@Kunxiong Zhu 等 7 人6 个信源在谈原文

论文 Agent 与开发者09:09

Softmax 重参数化方法降低输出头量化损失，Phi-4-mini KL 误差降至 0.256

量化小模型的人可以看看：一个一行搜索就能让输出头 W4 量化的 KL 误差降七成的方法，还附 10.8% 延迟实测。

#量化 #GPTQ #Phi-4-mini #推理优化

arXiv cs.LG@Asim Kadav 等 8 人原文

技巧 Agent 与开发者精选06:01

SGLang 新增 /v1/score 接口与多候选项评分，优化决策模型推理

SGLang 加了个评分接口，做分类、排序这类决策任务时延迟直接砍到三分之一，用 Qwen3 的可以试试。

#SGLang #Qwen3 #Open-Jev #推理优化

官方账号LMSYS Org (SGLang)@lmsysorg原文

技巧 Agent 与开发者精选16:33

PyTorch 大会将分享在 ARM CPU 上优化 MoE 模型推理的方法

Fujitsu 的工程师要在 PyTorch 大会讲怎么用 vLLM 和 OpenVINO 在 ARM CPU 上跑 MoE 模型，做端侧部署的可以关注。

#vLLM #OpenVINO #MoE #ARM CPU

官方账号PyTorch@PyTorch原文

模型 Agent 与开发者多源确认精选09:41

vLLM 上 GLM-5.3 单用户解码达 469 tok/s

AMD 显卡跑 GLM-5.3 冲到 469 tok/s 单用户解码，vLLM 管预填、TileRT 管解码的拆分架构值得部署党细看。

#GLM-5.3 #vLLM #AMD #MI355X

事件专题

官方账号vLLM@vllm_project3 个信源在谈原文

模型 Agent 与开发者多源确认00:44

inferact 开源 Kimi K3 TPU megakernel，单核跑出 709 tokens/s

Kimi K3 在 TPU 上跑到 709 tokens/s，比 GB200 还快，92 个 MoE 层塞进一个 Pallas kernel，做法挺巧，做推理的可以看看。

#Kimi K3 #TPU #Pallas #MoE

事件专题

官方账号vLLM@vllm_project7 个信源在谈原文

技巧 Agent 与开发者71°23:50

PCIe 显卡跑 DeepSeek 推理被低估：内核补齐加通信重构，吞吐提升近 7 倍

教你怎么在普通 PCIe 显卡上跑 DeepSeek 推理，改内核加重构通信后吞吐翻近 7 倍，1.5 台 6000D 就能打赢一台 B300，省钱党必看。

#DeepSeek #推理优化 #PCIe #RTX 6000D

量子位@思邈原文

论文 Agent 与开发者10:42

Memory Attention：用 token 记忆表替代 value 投影的新注意力机制

一篇改注意力机制的论文：value 不再做投影，改查 token 记忆表，推理还能省显存，做模型结构的可以看看。

#Memory Attention #注意力机制 #推理优化 #开源模型

arXiv cs.LG@Jiale Kang原文

论文 Agent 与开发者09:57

论文提出共享全局 KV 加层级本地历史方案，降低语言模型困惑度

arXiv 上一篇讲 KV 缓存的新论文，用本地历史替换当前 token 分支，126M 模型上困惑度降了约 1.4%，做推理优化的人可以看看。

#KV缓存 #Transformer #推理优化 #GQA

arXiv cs.LG@Xinglang Xian原文

论文 Agent 与开发者09:08

FLEET：用记忆机制替代重复采样，提速3倍

一篇来自 arXiv 的新方法，把记忆机制塞进文本生成，同样的算力下 LiveCodeBench 准确率从 59.9% 提到 66.2%，还能快 3 倍。

#FLEET #LiveCodeBench #LLM #推理优化

arXiv cs.AI@Oleksii Streltsov, Oleksandra Vitko原文

论文 Agent 与开发者10:31

ValueDiff：按价值向量偏离度淘汰 KV Cache，弱汇聚模型也能省显存

KV Cache 省显存的新思路：不看注意力看价值向量偏离度，MATH-500 上比老方法最高多约 20 分。

#ValueDiff #KV Cache #推理优化 #长上下文

arXiv cs.AI@Junyoung Park 等 3 人原文

论文 Agent 与开发者精选10:28

rMuscle框架提升机器人视觉语言行动模型推理效率

这个研究挺有意思，用类似肌肉记忆的缓存机制来优化机器人模型的推理速度，对实际应用应该有帮助。

#rMuscle #VLA模型 #推理优化 #机器人

arXiv cs.AI@Kaijun Zhou 等 4 人原文

论文 Agent 与开发者精选19:24

研究提出 SQD 方案优化异构系统下子二次注意力推理效率

这个论文研究了一种叫 SQD 的方法，专门针对子二次注意力模型，能显著提升在异构系统上的推理效率，比单纯用 GPU 的方法好很多。

#subquadratic attention #推理优化 #异构计算

arXiv cs.AI@Arya Tschand 等 9 人原文

论文 Agent 与开发者精选12:57

RoofLang 语言让 AI 优化 LLM 推理系统架构

这个 RoofLang 工具能帮你优化 LLM 推理架构，让 DeepSeek V4 模型跑得更快，比其他模型快很多。

#RoofLang #LLM #推理优化 #DeepSeek

事件专题

arXiv: DeepSeek@Ziyue Yang 等 4 人2 个信源在谈原文

产品官方一手05:56

Amazon SageMaker HyperPod 支持模型缓存，将推理冷启动时间从数分钟缩短至秒级

亚马逊 SageMaker HyperPod 新增模型缓存功能，能将推理冷启动时间从数分钟缩短到秒级，比之前版本快很多。

#Amazon SageMaker #模型缓存 #推理优化

官方一手AWS Machine Learning Blog@Kareem Syed-Mohammed原文

产品 Agent 与开发者多源确认78°08:49

Cohere 开源 Megakernel 推理系统

Cohere 开源了比 vLLM 快 1.58 倍的 Megakernel 推理系统，解决了传统引擎在算子边界处的 GPU 空转问题。

#Megakernel #Cohere #North Mini Code #vLLM

事件专题

shao__meng@shao__meng3 个信源在谈原文