vLLM 相关 AI 资讯 · AI 热点

7月3日

03:03

03:03

官方账号vLLM@vllm_project

精选

vLLM社区宣布，通过对DeepSeek V4模型的推理优化，一个月内将token成本降低5倍。优化工作从day-zero食谱起步，涉及内核、调度和服务层的改进。社区每个PR都对成本下降有贡献。

AI产品 DeepSeek V4 vLLM 推理优化

推荐理由：vLLM社区一个月让DeepSeek V4的token成本降了5倍，优化方法值得做推理的同行参考。

7月2日

20:30

20:30

官方账号vLLM@vllm_project

精选

DeepSeek 的 DSpark 投机解码技术现已原生集成到 vLLM 推理框架中。DSpark 是一种半自回归草稿模型，通过非因果滑动窗口注意力并行生成多个 token，单次验证即可保持输出一致，减少解码步数。在 NVIDIA 8×B300 GPU 上，DeepSeek-V4-Pro-DSpark 在 batch size 1 时达到约 250 tokens/s，平均接受长度约 5，且在不同草稿深度下比 MTP 方法接受率高 12-42%。vLLM 通过复用 SparseMLA 后端、捕获完整草稿主干和采样循环到单一 CUDA graph，并支持前缀缓存和 FP8 KV cache。

AI模型 DeepSeek vLLM DSpark

推荐理由：DeepSeek 把 DSpark 开源自带进 vLLM，跑 DeepSeek-V4 实测单卡 250 token/s，比 MTP 快 12-42%，想搞投机解码的可以试试。

20:29

20:29

官方账号vLLM@vllm_project

72°

Qwen3.6-27B-NVFP4模型在vLLM上可用，针对NVIDIA Blackwell GPU优化。该检查点将GPU内存需求降低约2.5倍。模型拥有27B参数，采用混合注意力机制。在MMLU Pro上得分86.3，GPQA Diamond上得分85.5。仅支持vLLM作为运行时引擎。

AI模型 Qwen vLLM NVIDIA Blackwell

推荐理由：Qwen3.6-27B-NVFP4来了！在Blackwell上内存减半，MMLU Pro 86.3分，用vLLM就能跑，开源模型本地AI更省显存。

7月1日

12:08

12:08

官方账号vLLM@vllm_project

78°

vLLM v0.24.0 发布，包含571次提交和256位贡献者（77位新贡献者）。新增 MiniMax-M3 模型支持，包括 FP8/MXFP4 精度和 AMD 调优。DeepSeek-V4 集成 FlashInfer 稀疏索引缓存和 prefill chunk-planning，并支持 SM120。Model Runner V2 默认处理量化模型，引入统一流式解析器引擎，支持工具调用与推理，另有 DiffusionGemma、DeepEP v2 和 Rust 前端更新。

AI产品 vLLM MiniMax-M3 DeepSeek-V4

推荐理由：vLLM新版本来了！支持MiniMax-M3和DeepSeek-V4，还有新解析器和量化模型处理，推理效率更高。

08:30

08:30

官方账号vLLM@vllm_project

vLLM 项目与 CrusoeAI 合作，将于 7 月 21 日在旧金山 a16z 办公室（180 Townsend St）举办线下 meetup。活动包括 vLLM 核心维护者演讲、Crusoe 关于 vLLM 生产部署的分享，以及酒水和社交环节。席位有限，需提前注册。

行业 vLLM CrusoeAI a16z

推荐理由：vLLM 团队和 Crusoe 在旧金山搞线下聚会，听核心开发者聊生产环境部署，还能面对面交流。

01:18

01:18

Suhail@Suhail

Suhail 在 X 上发帖，寻找旧金山地区的早期员工，协助模型优化工作，包括 spec decoding、GPU kernels、池化基础设施，并要求深入掌握 vLLM 或 sglang。强调对技术的兴趣和渴望比经验更重要。直接与 Suhail 本人合作。已有 56 个点赞和 15 个转发。

行业 Suhail vLLM sglang

推荐理由：Suhail 亲自招人做模型底层优化，玩 vLLM 和 sglang 的可以看看，机会难得。

6月30日

12:24

12:24

官方账号vLLM@vllm_project

vLLM 项目将于 7 月 2 日在旧金山举办欢乐时光活动。活动由 inferact 和 novita_labs 联合主办。讨论主题聚焦开放权重模型、推理和基础设施。无需会议门票即可参加。

行业 vLLM inferact novita_labs

推荐理由：vLLM 在旧金山办了个欢乐时光，聊开放权重模型和推理，不用买门票就能去，有空可以逛逛。

06:35

06:35

官方账号vLLM@vllm_project

vLLM 社区正在将 DeepSeek 的 DSpark 推测解码算法集成到 vLLM 推理引擎中。DSpark 是一种推测解码算法，能显著提升大语言模型的推理速度。该集成旨在为所有 vLLM 用户带来更快的推理性能，无需额外配置。目前社区正在积极开发中，预计将提升 vLLM 的吞吐量并降低延迟。

AI模型 vLLM DeepSeek DSpark

推荐理由：vLLM 社区正在把 DeepSeek 的 DSpark 算法加进来，推理速度能再上一个台阶，用 vLLM 的朋友可以期待了。

6月29日

18:57

18:57

官方账号vLLM@vllm_project

精选

NVIDIA 与 vLLM 合作发布 step-by-step 指南，教你用四台 DGX Spark 盒子组建私有集群，自托管 550B 参数的 Nemotron-3-Ultra 模型。指南基于 vLLM 官方容器，可提供兼容 OpenAI 的端点。无需数据中心，适合构建私有 agent 工作流。

技巧 Nemotron-3-Ultra NVIDIA DGX Spark

推荐理由：想不依赖数据中心自己跑 550B 模型？NVIDIA 出了详细教程，四台 DGX Spark 就能拼出 OpenAI 兼容的端点。

13:09

13:09

官方账号vLLM@vllm_project

精选

vLLM-Omni TTS团队针对Qwen3-TTS、VoxCPM2、Higgs Audio V3、Fish Speech S2 Pro四种TTS模型分别设计了不同的优化策略。对Qwen3-TTS通过解耦连接器分块和批处理Stage-0解码预处理，在H20×2上音频吞吐量提升61.5%，P99延迟减半。VoxCPM2采用whole-forward torch.compile和CFM/LocDiT解码尾部跨请求批处理，音频吞吐量提升172%。Higgs Audio V3将多码本解码状态机迁移到GPU驻留张量，实现2.7倍加速。Fish Speech S2 Pro为纯解码路径设计了模型特定的q_len=1 Triton注意力内核。

AI模型 vLLM Qwen3-TTS VoxCPM2

推荐理由：vLLM团队分享了优化四种主流TTS模型服务的具体技巧，包括性能提升数据和实现细节，对部署TTS服务很有参考价值。

01:31

01:31

官方账号vLLM@vllm_project

精选

百度Unlimited-OCR现已集成到vLLM推理框架中，基于Reference Sliding Window Attention（R-SWA）机制实现恒定KV缓存，避免内存暴涨和速度下降。该模型能在32K上下文预算下一次性转录40+页文档，且编辑距离极低。在6K输出token场景下，推理速度比DeepSeek-OCR快35%，GPU内存和吞吐量保持恒定。

AI模型 Unlimited-OCR Baidu vLLM

推荐理由：百度开源了Unlimited-OCR，在vLLM上跑，能一次性解析整本书，内存不涨，比DeepSeek-OCR快35%，做文档OCR的好东西。

6月27日

13:54

13:54

官方账号vLLM@vllm_project

精选

NVIDIA发布GLM-5.2的NVFP4检查点，在Blackwell GPU上相比FP8内存占用降低一半。该模型在推理、编码和长上下文基准测试中保持与FP8相同的准确率。用户可通过vLLM直接加载运行：vllm serve nvidia/GLM-5.2-NVFP4。

AI模型 GLM-5.2 NVFP4 vLLM

推荐理由：想省显存又不想降精度？GLM-5.2的NVFP4版在vLLM上线了，比FP8省一半内存，推理编码长文本都稳。

6月26日

20:05

20:05

官方账号vLLM@vllm_project

精选

Cohere 开源了他们使用 AI 编码智能体维护 vLLM fork 的方法。该方法将维护视为控制循环：每次上游发布后 rebase，运行测试，诊断错误，修复，重复直到通过。原本数周的工作缩短到数天。技能库已开源（cohere-ai/vllm-skills），且修复已回馈上游。

技巧 Cohere vLLM 编码智能体

推荐理由：Cohere 开源了用 AI agent 维护 vLLM fork 的实践，把几周工作缩到几天，修复还回馈了上游。

08:52

08:52官方一手Hugging Face: Blog（博客/媒体）

精选

HuggingFace推出新功能：只需一条命令即可在HF Jobs上启动vLLM推理引擎。vLLM是一个高性能、低延迟的推理框架，支持多种GPU和自定义模型。该功能简化了从模型托管到服务部署的流程，无需手动配置容器或基础设施。用户可以快速部署LLaMA、Mistral等开源模型。

技巧 vLLM HuggingFace HF Jobs

推荐理由：HuggingFace出了新招：一行命令就能跑vLLM服务器，省去了手动配置的麻烦，适合快速部署自己的模型。

02:16

02:16

官方账号vLLM@vllm_project

精选

vLLM 宣布 Day-0 支持 Liquid AI 的 LFM2.5-230M 小模型。该模型仅 230M 参数，预训练于 19T tokens 且支持 32K 上下文。专为手机、机器人、家庭自动化和网络设备上的 agent 任务设计。可运行于 CPU、NPU 和 GPU 等硬件。

AI模型 LFM2.5-230M vLLM Liquid AI

推荐理由：vLLM 第一时间给 Liquid AI 的 LFM2.5 小模型做了适配，230M 参数跑 agent 任务，手机、机器人上都能用。

6月25日

21:45

21:45

Thomas Wolf@Thom_Wolf

实验让100多个智能体协作一周，优化vLLM中Gemma 4推理速度，最终实现5倍提升。智能体自发拒绝人类社交工程尝试，发现验证漏洞并请求社区裁决。四智能体接力构建int4-lm_head检查点，经诊断配置错误后达到118 TPS（2.68×）。GPU富/贫分工、跨智能体内核调试、配额池化等行为涌现。智能体还指出127 TPS“墙”是假象，并讨论了int4-Marlin floor的循环证明问题。

AI模型 Gemma 4 vLLM 多智能体

推荐理由：这个实验展示了100多个AI智能体像人类社区一样自发协作、互相监督，甚至发现了验证漏洞。一周将Gemma 4推理速度优化5倍，很酷。

6月24日

13:13

13:13

官方账号vLLM@vllm_project

vLLM 项目宣布支持 DFlash 投机解码，用户只需将 EAGLE-3 检查点替换为 DFlash 检查点即可启用，无需修改代码。该功能通过开源 Speculators 库将 DFlash 草案模型与目标模型的隐藏状态连接。在单块 Blackwell Ultra GPU 上运行 Gemma-4 31B 模型，Math500 基准取得 5.8 倍吞吐量提升，GSM8K 提升 5.3 倍，HumanEval 提升 5.6 倍，MBPP 提升 4.4 倍。

AI模型 DFlash vLLM Gemma-4

推荐理由：vLLM 和 NVIDIA 合作推出 DFlash 投机解码，Gemma-4 31B 推理速度提升近 6 倍，配置只需改一行 checkpoint 路径。

6月19日

03:08

03:08

官方账号vLLM@vllm_project

精选72°

Anyscale 与 Google Cloud GKE 合作推出 Ray Serve LLM 新版本，在 vLLM 基础上实现显著性能飞跃。预填密集型负载吞吐量提升 4.4 倍，解码密集型负载提升 24 倍。三个关键优化包括：控制平面端点选择器的直接流式传输、新的 vLLM Ray V2 执行器后端、以及基于 HAProxy 的 C 语言级路由。Ray 的容错、可观察性和跨 K8s/VM 可移植性为复杂推理部署奠定基础。

AI模型 Ray Serve LLM vLLM Anyscale

推荐理由：Anyscale 和 Google Cloud 联手让 vLLM 推理快了好几倍，预填负载快 4.4 倍，解码负载快 24 倍，用 Ray V2 执行器就能体验。

6月18日

20:22

20:22

官方账号vLLM@vllm_project

精选

vLLM 推出新功能，允许用户在自己的 GPU 上运行开源模型作为编程助手。该引擎兼容 OpenAI Responses API，因此任何使用代码助手的工具都可直接指向你的服务器。支持 NVIDIA、AMD 等多种硬件。当前可部署 GLM 5.2、Kimi K2.7 Code、MiniMax M3 等模型。

AI产品 vLLM 编程助手开源模型

推荐理由：vLLM 现在能让你自己在 GPU 上跑开源模型当编程助手，省了 API 钱还更灵活，支持 NVIDIA、AMD 和多种模型。

6月17日

08:30

08:30

官方账号vLLM@vllm_project

SemiAnalysis对强化学习训练系统进行深度分析，指出效率关键在于匹配训练器与生成器的吞吐量。研究基于vLLM+verl框架，@KaichaoYou和Ao Shen进行了沙箱扩展实验。该工作建立在@KaichaoYou早期在OpenRLHF、verl、slime等框架的RL集成工作之上。

论文 SemiAnalysis vLLM verl

推荐理由：这篇分析硬核拆解RL训练效率瓶颈，vLLM+verl的沙箱实验值得一看。

03:05

03:05

官方账号vLLM@vllm_project

精选

vLLM 发布 0.23.0 版本，为 Zai.org 的 GLM-5.2 模型提供 Day-0 支持。GLM-5.2 拥有 1M token 上下文窗口，专为长周期编码智能体设计，可承载从需求到部署的完整开发流程。该模型针对大规模代码实现、自动化研究和性能优化进行了调优，支持客户端和移动端内调试。用户即日起可通过 vLLM 运行该模型。

AI模型 vLLM GLM-5.2 1M token

推荐理由：vLLM 刚发的 0.23.0 直接支持了 GLM-5.2，这个模型有 100 万 token 上下文，适合一口气写完整个项目代码，还能跨平台部署，写代码的可以试试。

6月16日

20:16

20:16

官方账号vLLM@vllm_project

精选

Anyscale团队发布报告，介绍如何用Ray Serve和vLLM实现PD Disaggregation。该技术在AMD MI325X GPU上通过了压力测试，验证了实际性能提升。报告强调正确配置是发挥优势的关键。

技巧 vLLM Ray Serve Anyscale

推荐理由：vLLM推荐了Anyscale的这篇实战文章，讲清楚了PD Disagg在Ray Serve加vLLM上的做法，还在AMD MI325X上测过，值得搞推理部署的人看看。

20:16

20:16

官方账号vLLM@vllm_project

精选73°

vLLM v0.23.0 包含 408 次提交，来自 200 位贡献者（63 位新贡献者）。主要亮点：DeepSeek-V4 在多个后端上成熟，引入 TRTLLM-gen attention 内核、与 V3.2 解耦的稀疏 MLA 以及用于 Mega-MoE 的 EPLB 调度。Model Runner V2 现已成为 Llama 和 Mistral 稠密模型的默认运行器。新增 Gemma 4 Unified（无编码器）及 MTP 支持。还提供了多层级 KV 缓存卸载（含对象存储层）和统一的推理与工具调用解析器。

AI产品 vLLM DeepSeek-V4 Llama

推荐理由：vLLM v0.23.0 大更新，DeepSeek-V4 和 Llama 用户值得升级，新的 KV 缓存卸载能省显存，推理与工具调用解析也更顺了。

6月12日

22:47

22:47

官方账号vLLM@vllm_project

73°

MiniMax AI 发布了新一代开源模型 MiniMax M3，具备前沿的编码和智能体能力，原生支持图像和视频输入、计算机使用功能，并拥有 100 万 token 的上下文窗口。其核心是 MSA（MiniMax Sparse Attention）稀疏注意力架构，通过仅对 top 128-token KV 块进行注意力计算，大幅降低了长上下文推理的计算成本。M3 已在 vLLM 中实现首日支持，可在 NVIDIA 和 AMD 硬件上运行，支持 BF16 和 MXFP8 检查点、MoE 后端、多模态输入、工具调用和推理控制。这一成果是 MiniMax、NVIDIA、AMD 和 vLLM 社区合作的结晶。

AI模型 MiniMax M3 稀疏注意力 1M上下文

推荐理由：M3 的 1M 上下文和稀疏注意力架构解决了长文档和复杂智能体任务的性能瓶颈，做 RAG、代码分析和自动化工作流的团队可以直接在 vLLM 上部署试用。

21:56

21:56

官方账号vLLM@vllm_project

Kimi 发布 K2.7-Code，一个专注于编程的智能体模型，基于 K2.6 构建。该模型采用 1T 参数的混合专家架构，每次推理仅激活 32B 参数，配备 MLA 注意力机制和 256K 上下文窗口。相比 K2.6，K2.7-Code 的思考 token 减少了约 30%，推理更高效。该模型已获 vLLM 支持，可直接复用 K2.6 的部署配置，降低了迁移成本。

AI模型编程智能体 MoE/混合专家 Kimi

推荐理由：编程智能体模型终于有了更高效的选择——K2.7-Code 在保持 1T 参数规模的同时，将激活参数压缩到 32B，做代码生成和推理的开发者可以直接在 vLLM 上复用现有部署，值得一试。

12:10

12:10

官方账号vLLM@vllm_project

精选73°

GoogleDeepMind 推出了 DiffusionGemma，这是一个基于 Gemma4 架构的 26B 参数扩散语言模型（dLLM），并成为 vLLM 原生支持的首个扩散语言模型。与传统自回归模型逐个生成 token 不同，DiffusionGemma 能并行去噪 256 个 token 的块，在单张 H200（FP8）上以 batch size 1 实现超过 1200 输出 token/秒的吞吐量。该模型通过 vLLM 的 model runner v2 的 ModelState 和现有推测解码路径实现，对调度器和运行器改动极小。FP8 和 NVFP4 检查点已托管在 RedHat AI 中心，由 GoogleDeepMind、RedHat AI 和 NVIDIA AI 团队合作完成。这一进展标志着扩散模型在高效文本生成领域迈出重要一步。

AI模型扩散语言模型 vLLM GoogleDeepMind

推荐理由：DiffusionGemma 用并行去噪替代逐 token 生成，大幅提升推理速度，做大规模文本生成或实时应用的团队可以直接在 vLLM 中体验，值得关注。

12:10

12:10

官方账号vLLM@vllm_project

精选

Inferoa 是一个由 @agenticin 构建的社区智能体框架，基于 vLLM 技术栈。它通过推理经济学来塑造智能体循环，包括前缀缓存管理、上下文优化以及在自托管模型和前沿模型之间的路由。该框架旨在帮助开发者更高效地运行智能体，降低推理成本。vLLM 项目团队对此表示期待，并希望开发者能进一步扩展其功能。

AI产品智能体 vLLM 推理优化

推荐理由：Inferoa 把推理成本优化直接嵌入智能体循环，做智能体应用或自托管模型的开发者值得关注，能帮你省下不少推理开销。

12:09

12:09

官方账号vLLM@vllm_project

精选

vLLM 宣布对 Cohere 的 North Mini Code 模型提供 Day-0 支持，该模型是一个开源的编码模型，专为智能体工作流设计。模型采用 Mixture-of-Experts 架构，总参数量 30B，活跃参数 3B，支持 256K 上下文和 64K 最大生成长度。它具备推理、工具使用和结构化输出能力，可直接通过最新稳定版 vLLM 部署。这一支持让开发者能快速在 vLLM 上运行该模型，用于构建复杂的智能体应用。

AI产品 vLLM Cohere North Mini Code

推荐理由：做智能体工作流和编码应用的开发者，现在可以直接用 vLLM 部署 Cohere 的 North Mini Code 模型，省去适配麻烦，建议试试。

12:09

12:09

官方账号vLLM@vllm_project

精选

vLLM 项目宣布推出 vime，一个在 vLLM 生态中用于 LLM 后训练的强化学习框架。vime 基于 slime 的训练设计，并利用 vLLM 推理引擎，提供简单、稳定且高效的 RL 训练方案。该框架旨在与 NeMo RL、OpenRLHF、verl 等共存，为用户提供更多选择。vime 的推出丰富了 vLLM 后训练生态，推动互操作性和创新。

AI产品 vLLM RLHF 后训练

推荐理由：做 LLM 后训练的团队终于有了 vLLM 生态内的 RL 框架选择——vime 简单稳定，直接可用，想尝试不同 RL 框架的开发者值得关注。

6月5日

02:33

02:33

官方账号Andrew Ng@AndrewYNg

Andrew Ng 联合 RedHat 推出新课程，教你如何高效服务大语言模型，以低延迟和合理成本处理大量并发用户。课程核心包括量化降低模型内存占用（如 70B 模型权重约 140GB）以及使用 vLLM 的智能内存管理（如 KV 缓存）来提升并发处理能力。学员将学会量化模型并权衡精度、用 vLLM 部署并观察并发效果、以及基准测试以在速度、成本和精度间做决策。课程适合想优化 LLM 部署的开发者，可直接在 deeplearning.ai 上学习。

AI产品 LLM 服务量化 vLLM

推荐理由：做 LLM 部署的开发者终于有了系统课程——量化降内存 + vLLM 处理并发，直接上手就能优化成本，建议点开学。

6月4日

00:20

00:20

DeepLearning.AI@DeepLearningAI

DeepLearning.AI 与 RedHat 合作推出免费短课程《Fast & Efficient LLM Inference with vLLM》，由 Cedric Clyburn 授课。课程涵盖开源 LLM 量化、使用 vLLM 部署模型，以及从速度、成本和准确率三个维度进行基准测试。学员可免费注册学习，适合希望提升 LLM 推理效率的开发者。

AI产品 vLLM LLM推理模型量化

推荐理由：vLLM 是目前最主流的 LLM 推理框架之一，这门课直接教你量化、部署和基准测试，做模型部署或推理优化的工程师值得花时间学。

5月29日

14:34

14:34

官方账号阶跃星辰 Stepfun@Stepfun_AI

StepFun 宣布其模型获得 vLLM 的 Day-0 支持，这意味着新模型发布当天即可在 vLLM 推理框架中使用。vLLM 是流行的开源大模型推理引擎，支持高效部署。这一合作让开发者能更快地使用 StepFun 模型进行推理和部署。感谢 vLLM 项目的贡献。

AI产品 vLLM StepFun 推理引擎

推荐理由：vLLM 的 Day-0 支持意味着 StepFun 模型发布即可用，做模型推理部署的团队可以省去等待适配的时间，建议关注。

5月28日

12:00

12:00

官方账号arXiv cs.LG@Zelin Li, Caiwen Ding

精选72°

研究发现，大语言模型的零阶（ZO）微调本质上是推理密集型负载，而非传统训练。现有实现将ZO算法运行在训练循环中，导致工作负载与运行时的不匹配。研究者通过将ZO微调的重复评分阶段部署在推理运行时（如vLLM）上，在OPT-13B模型上实现了8.13倍加速，且精度几乎无损。该方法在多个模型规模下获得2.34-7.72倍加速，并支持MeZO风格的高秩分解实验。这项工作为将轻量级适配作为推理类负载调度提供了实用路径。

论文零阶优化微调推理优化

推荐理由：做LLM微调优化的团队终于可以省下GPU时间了——把ZO微调当推理跑，vLLM直接提速8倍，建议做低成本微调的人点开看看实现细节。

5月27日

15:30

15:30

官方一手marktechpost@Michal Sutter

72°

EAGLE 团队联合 vLLM 和 TorchSpec 发布了 EAGLE 3.1，旨在解决生产环境中推测解码的不稳定性。该算法通过修复注意力漂移问题，提升了 LLM 推理的效率和可靠性。EAGLE 3.1 针对大规模部署场景优化，减少了推理延迟和资源消耗。这一更新对于需要高性能 LLM 推理的团队具有重要意义。

AI模型 EAGLE 3.1 推测解码注意力漂移

推荐理由：EAGLE 3.1 解决了生产环境中推测解码的稳定性痛点，做 LLM 推理优化的团队可以直接用上，减少注意力漂移带来的性能损失。

5月21日

11:25

11:25

官方账号arXiv cs.AI@Can Hankendi, Rana Shahout, Minlan Yu, Ayse K. Coskun

精选

PALS是一个针对大语言模型推理的功耗感知运行时系统，将GPU功耗上限作为可调控制参数，与批处理大小等软件参数联合优化。该系统结合轻量级离线功耗性能模型和反馈驱动控制器，在满足吞吐量目标的同时最大化能效。在vLLM框架中实现，无需模型重训练或API更改。在多GPU系统上，针对稠密和混合专家模型，PALS能效提升最高26.3%，功耗约束下服务质量违规减少4到7倍。这展示了将功耗控制直接集成到LLM推理运行时中的潜力，可实现能效比例和电网交互式AI系统。

论文 LLM推理功耗优化混合专家模型

推荐理由：数据中心GPU能耗是AI部署的隐形杀手，PALS把功耗从硬约束变成可调参数，做LLM服务部署的团队可以直接在vLLM上集成，省电又保性能，值得一试。

5月14日

14:13

14:13

官方账号Cohere@cohere

精选

Cohere 宣布其 W4A8 推理方案已集成到 vLLM 中，通过结合 4 位权重（低内存）和 8 位激活（高计算），在 Hopper 架构上实现了解码和预填充阶段的显著加速。相比 W4A16，TTFT（首 token 生成时间）提升高达 58%，TPOT（每 token 输出时间）提升 45%。这一优化让大模型推理在保持低内存占用的同时大幅提升计算效率，适合生产环境部署。

AI模型推理优化 vLLM W4A8

推荐理由：Cohere 的 W4A8 方案解决了大模型推理中内存与速度的权衡问题，做模型部署和推理优化的团队可以直接在 vLLM 中体验，值得关注。

13:27

13:27

官方账号arXiv cs.AI@Zedong Liu, Xinyang Ma, Dejun Luo, Hairui Zhao, Bing Lu, Wenjing Huang, Yida Gu, Xingchen Liu, Zheng Wei, Jinyang Liu, Dingwen Tao, Guangming Tan

精选

KVServe 是首个服务感知的自适应 KV 通信压缩框架，专为分离式 LLM 服务设计。它通过模块化策略空间、贝叶斯分析引擎和服务感知在线控制器，动态选择最优压缩方案。相比固定压缩策略，KVServe 在 PD 分离场景下实现高达 9.13 倍的 JCT 加速，在 KV 分离场景下将 TTFT 降低 32.8 倍。该框架已集成到 vLLM 中，适用于不同模型、GPU 和网络环境。

论文 KV缓存压缩分离式LLM服务 vLLM

推荐理由：KV 通信已成为分离式 LLM 服务的瓶颈，KVServe 用自适应压缩解决了静态策略的次优问题。做 LLM 推理系统优化或部署大规模服务的团队，这个框架值得关注，可以直接集成到 vLLM 中试用。

5月13日

00:33

00:33官方一手Google Developers Blog（博客/媒体）

加州大学圣地亚哥分校研究者将DFlash（一种块扩散推测解码方法）成功部署到Google TPU上，通过单次前向传播“绘制”整个候选词块，绕过传统自回归逐步预测的顺序瓶颈。该系统在TPU上实现了平均3.13倍的加速，峰值性能接近现有EAGLE-3方法的两倍。该开源方案已集成至vLLM生态，利用TPU的免费并行验证和高品质草稿预测，显著提升复杂推理任务的效率。

AI模型推理加速推测解码 TPU

推荐理由：这一工作展示了扩散式推测解码在TPU上的实际落地价值，突破传统推测解码的顺序瓶颈，尤其利好大规模LLM推理场景。开源集成至vLLM有助于行业快速采用。