vLLM 相关 AI 资讯

7月10日

23:28

官方一手AWS Machine Learning Blog@Xuan Lu

精选

本教程展示了如何在Amazon SageMaker HyperPod上使用vLLM实现DPD（分离预填充和解码）。DPD通过将预填充阶段和解码阶段分别部署在不同的计算节点上，显著降低了推理延迟。文中提供了使用HyperPod推理操作符的具体配置步骤和性能对比数据。该方法适用于需要低延迟响应的LLM推理场景。

推荐理由：AWS教你用vLLM在SageMaker HyperPod上把LLM推理分成两段跑，延迟更低，实操步骤写得挺清楚。

原文

15:00

AI Will@FinanceYF5

AGI Summit SF 2026将于7月18-19日在旧金山艺术宫举行，预计15000人参与，200多位嘉宾演讲。Codex产品负责人、DeepSeek-R1复现第一人、Greptile CEO和vLLM作者将在同一舞台分享经验。这些演讲聚焦AI编程、模型复现和推理加速，对开发者有直接参考价值。

行业 Codex DeepSeek-R1 Greptile vLLM 编程助手

推荐理由：把Codex、DeepSeek-R1、vLLM的大佬凑一起了，做AI编程和推理的别错过，比刷推特干货多。

原文

04:53

官方账号vLLM@vllm_project

精选

vLLM项目与Inferact合作，在Ray Summit（8月24-26日于旧金山）举办首届vLLM Conference。会议将讨论vLLM路线图、如何最大化NVIDIA/AMD/TPU等加速器性能、将vLLM集成到训练与推理管线、以及生产级推理经验。演讲嘉宾来自Inferact、NVIDIA、AMD、Google TPU、Anyscale、PyTorch、Meta、Red Hat等。

行业 vLLM Inferact Ray Summit 推理引擎开源

推荐理由：vLLM社区第一次线下大会，想了解高性能推理前沿和开源生态的朋友别错过，直接和NVIDIA、AMD、Google TPU的工程师面对面。

原文

7月9日

19:22

官方账号vLLM@vllm_project

精选

MosiAI 发布了 MOSS-Transcribe-Diarize-0.9B，一个 0.9B 参数的开源端到端模型，专门用于多说话人长音频转录。该模型将 ASR、说话人日记化和时间戳对齐整合为单个生成式过程，不同于 WhisperX 的分阶段串联方式。它支持最长约 90 分钟的音频一次性输入，无需分块或拼接，并具备关键词偏置功能以提升专有名词识别准确率。vLLM 在发布当天（day-0）即提供了对该模型的支持。

AI模型 MOSS-Transcribe-Diarize-0.9B MosiAI vLLM 多说话人转录端到端模型

推荐理由：MosiAI 新发的 0.9B 开源模型，一次性搞定多人对话的转录、打标签和加时间戳，90 分钟音频都不用分块，还支持关键词纠偏，赶紧试试。

原文

19:20

官方账号vLLM@vllm_project

精选76°

vLLM与Hugging Face团队在v0.25.0中实现了Transformers建模后端与手写vLLM模型的对等性能。现在450多种Transformers架构可以直接在vLLM中以原生速度运行，完全无需移植代码。用户只需集成一次Transformers即可自动获得vLLM的融合内核、torch.compile和CUDA图优化。这一更新大幅降低了在vLLM上使用新模型的工程成本。

AI产品 vLLM Hugging Face Transformers v0.25.0 推理加速

推荐理由：vLLM和Hugging Face搞了个大活：Transformers v0.25.0直接兼容vLLM，450多个模型自动加速，不用自己写适配代码了，开箱即用！

原文

7月7日

22:16

Hunyuan@TXhunyuan

腾讯混元Hy3模型获得vLLM项目支持。用户可以通过vLLM推理引擎启动Hy3进行体验。vLLM是一个高效的大模型推理框架，此次集成简化了Hy3的部署流程。

AI模型 Hy3 TencentHunyuan vLLM 视频生成

推荐理由：腾讯混元让Hy3在vLLM上跑起来了，现在就能上手试玩，搞视频生成的朋友可以看看。

原文

13:03

官方一手arXiv: OpenAI@Sukanta Ganguly

PLACEMEM将智能体记忆表示为带版本号的胶囊，统一语义、来源、有效性和可重用运行时状态。原型基于vLLM，支持提示级文本检索、KV导向路由和级联失效。通过OpenAI兼容的侧车和类型化元数据契约，测量了首次token延迟、复用率和校正后行为。论文提出了面向终身智能体系统的重放感知服务集成路线图。

论文 PLACEMEM 论文终身智能体记忆管理 vLLM

推荐理由：这篇论文提出了PLACEMEM，用版本化胶囊解决终身智能体的记忆管理问题，原型跑在vLLM上，实测了延迟和复用率，适合研究记忆架构的读者。

原文

11:48

官方一手arXiv: DeepSeek@Xiao Shi, Yingying Sun, Jiangsu Du, Zhiguang Chen, Yutong Lu

CAP框架通过协同激活驱动的专家放置减少跨设备通信，并引入通信感知剪枝选择性移除路由目标。在单节点和多节点实验中，相比DeepSeek EPLB和vLLM的序列放置，吞吐量提升1.23倍至1.86倍。该方法在达到相同加速目标时能保持更好的模型准确率。

论文 CAP MoE DeepSeek EPLB vLLM 推理优化

推荐理由：这篇论文提出CAP，直接在专家放置和剪枝中考虑通信开销，实测比DeepSeek EPLB快1.2-1.8倍，适合跑大MoE模型的人。

原文

01:59

官方账号vLLM@vllm_project

精选

腾讯混元发布Hy3模型，作为Hy3 Preview的完整版，总参数295B，活跃参数仅21B，采用192专家MoE架构与top-8路由。该模型在vLLM从第一天起即原生支持，包含工具调用、推理解析器和MTP推测解码功能。上下文窗口达256K，配备3.8B MTP推测解码层，提供BF16和FP8权重。模型采用Apache 2.0许可证，已在NVIDIA和AMD硬件上验证。

AI模型 Hy3 vLLM 腾讯混元 MoE 推理模型

推荐理由：腾讯混元的Hy3，295B参数但只激活21B，vLLM第一天就支持，能跑工具和长推理，Apache 2.0随便使，值得一试！

原文

01:54

官方账号vLLM@vllm_project

76°

MistralAI 推出了 Leanstral 1.5，一个基于 Apache-2.0 许可证的 Lean 4 证明智能体。该模型采用 MoE 架构，总参数量 119B，仅激活 6B 参数。它在 miniF2F 上获得 100% 准确率，在 FATE-H 和 FATE-X 上分别达到 87% 和 34% 的新 SOTA。在 PutnamBench 上，它解决了 587/672 个问题，每问题成本约 4 美元。现在可通过 vLLM 进行部署。

AI模型 MistralAI Leanstral 1.5 vLLM 推理模型 MoE

推荐理由：MistralAI 的 Leanstral 1.5 用 6B 活跃参数就拿下 miniF2F 满分，每个问题才 4 美元，做数学证明的可以试试。

原文

7月3日

15:45

官方账号vLLM@vllm_project

74°

Qwen3-Omni采用多模态Thinker与Talker（Code2Wav）流水线架构。高并发下仅复制语音阶段，复用Thinker结果，首音频延迟从约6秒降至0.6秒。吞吐量在同GPU上提升5.4倍，语音生成快于实时。该优化由阿里、蚂蚁集团SCT团队和vLLM-Omni团队共同实现。

AI模型 Qwen3-Omni 多模态推理优化语音对话 vLLM

推荐理由：阿里和蚂蚁团队搞了个优化，Qwen3-Omni实时对话延迟从6秒降到0.6秒，吞吐还翻了5倍多，推荐看技术博客。

原文

09:48

官方一手arXiv: DeepSeek@Shrikara Arun, Anjaly Parayil, Srikant Bharadwaj, Renee St. Amant, Victor Rühle

精选

该论文针对分离式LLM服务中预填充节点过载而解码节点空闲的问题，提出了一种主动预填充偏转调度器。在2个预填充节点和2个解码节点的A100集群上，预填充执行仅占P95首次令牌延迟的2-23%，其余为排队和KV-cache传输。该调度器让解码节点以分块预填充步骤穿插解码批次的方式处理请求，消除节点间KV传输。基于vLLM和DeepSeek-V2-Lite的实验显示，相比最优分离式调度器，P95 TTFT降低81%，SLO达成率提升79%。

论文 Disaggregated LLM serving prefill deflection vLLM DeepSeek-V2-Lite 推理优化

推荐理由：这篇论文讲了个很实在的优化：让空闲的解码节点分担预填充活儿，不用等KV传输，TTFT降了81%

原文

03:03

官方账号vLLM@vllm_project

精选

vLLM社区宣布，通过对DeepSeek V4模型的推理优化，一个月内将token成本降低5倍。优化工作从day-zero食谱起步，涉及内核、调度和服务层的改进。社区每个PR都对成本下降有贡献。

AI产品 DeepSeek V4 vLLM 推理优化开源模型

推荐理由：vLLM社区一个月让DeepSeek V4的token成本降了5倍，优化方法值得做推理的同行参考。

原文

7月2日

20:30

官方账号vLLM@vllm_project

精选

DeepSeek 的 DSpark 投机解码技术现已原生集成到 vLLM 推理框架中。DSpark 是一种半自回归草稿模型，通过非因果滑动窗口注意力并行生成多个 token，单次验证即可保持输出一致，减少解码步数。在 NVIDIA 8×B300 GPU 上，DeepSeek-V4-Pro-DSpark 在 batch size 1 时达到约 250 tokens/s，平均接受长度约 5，且在不同草稿深度下比 MTP 方法接受率高 12-42%。vLLM 通过复用 SparseMLA 后端、捕获完整草稿主干和采样循环到单一 CUDA graph，并支持前缀缓存和 FP8 KV cache。

AI模型 DeepSeek vLLM DSpark 投机解码推理加速

推荐理由：DeepSeek 把 DSpark 开源自带进 vLLM，跑 DeepSeek-V4 实测单卡 250 token/s，比 MTP 快 12-42%，想搞投机解码的可以试试。

原文

20:29

官方账号vLLM@vllm_project

72°

Qwen3.6-27B-NVFP4模型在vLLM上可用，针对NVIDIA Blackwell GPU优化。该检查点将GPU内存需求降低约2.5倍。模型拥有27B参数，采用混合注意力机制。在MMLU Pro上得分86.3，GPQA Diamond上得分85.5。仅支持vLLM作为运行时引擎。

AI模型 Qwen vLLM NVIDIA Blackwell 推理优化开源模型

推荐理由：Qwen3.6-27B-NVFP4来了！在Blackwell上内存减半，MMLU Pro 86.3分，用vLLM就能跑，开源模型本地AI更省显存。

原文

7月1日

12:08

官方账号vLLM@vllm_project

78°

vLLM v0.24.0 发布，包含571次提交和256位贡献者（77位新贡献者）。新增 MiniMax-M3 模型支持，包括 FP8/MXFP4 精度和 AMD 调优。DeepSeek-V4 集成 FlashInfer 稀疏索引缓存和 prefill chunk-planning，并支持 SM120。Model Runner V2 默认处理量化模型，引入统一流式解析器引擎，支持工具调用与推理，另有 DiffusionGemma、DeepEP v2 和 Rust 前端更新。

AI产品 vLLM MiniMax-M3 DeepSeek-V4 推理引擎

推荐理由：vLLM新版本来了！支持MiniMax-M3和DeepSeek-V4，还有新解析器和量化模型处理，推理效率更高。

原文

08:30

官方账号vLLM@vllm_project

vLLM 项目与 CrusoeAI 合作，将于 7 月 21 日在旧金山 a16z 办公室（180 Townsend St）举办线下 meetup。活动包括 vLLM 核心维护者演讲、Crusoe 关于 vLLM 生产部署的分享，以及酒水和社交环节。席位有限，需提前注册。

行业 vLLM CrusoeAI a16z 开源推理旧金山

推荐理由：vLLM 团队和 Crusoe 在旧金山搞线下聚会，听核心开发者聊生产环境部署，还能面对面交流。

原文

01:18

Suhail@Suhail

Suhail 在 X 上发帖，寻找旧金山地区的早期员工，协助模型优化工作，包括 spec decoding、GPU kernels、池化基础设施，并要求深入掌握 vLLM 或 sglang。强调对技术的兴趣和渴望比经验更重要。直接与 Suhail 本人合作。已有 56 个点赞和 15 个转发。

行业 Suhail vLLM sglang 模型优化招聘

推荐理由：Suhail 亲自招人做模型底层优化，玩 vLLM 和 sglang 的可以看看，机会难得。

原文

6月30日

12:24

官方账号vLLM@vllm_project

vLLM 项目将于 7 月 2 日在旧金山举办欢乐时光活动。活动由 inferact 和 novita_labs 联合主办。讨论主题聚焦开放权重模型、推理和基础设施。无需会议门票即可参加。

行业 vLLM inferact novita_labs 开放权重模型推理基础设施

推荐理由：vLLM 在旧金山办了个欢乐时光，聊开放权重模型和推理，不用买门票就能去，有空可以逛逛。

原文

06:35

官方账号vLLM@vllm_project

vLLM 社区正在将 DeepSeek 的 DSpark 推测解码算法集成到 vLLM 推理引擎中。DSpark 是一种推测解码算法，能显著提升大语言模型的推理速度。该集成旨在为所有 vLLM 用户带来更快的推理性能，无需额外配置。目前社区正在积极开发中，预计将提升 vLLM 的吞吐量并降低延迟。

AI模型 vLLM DeepSeek DSpark 推理加速开源模型

推荐理由：vLLM 社区正在把 DeepSeek 的 DSpark 算法加进来，推理速度能再上一个台阶，用 vLLM 的朋友可以期待了。

原文

6月29日

18:57

官方账号vLLM@vllm_project

精选

NVIDIA 与 vLLM 合作发布 step-by-step 指南，教你用四台 DGX Spark 盒子组建私有集群，自托管 550B 参数的 Nemotron-3-Ultra 模型。指南基于 vLLM 官方容器，可提供兼容 OpenAI 的端点。无需数据中心，适合构建私有 agent 工作流。

技巧 Nemotron-3-Ultra NVIDIA DGX Spark vLLM 自托管

推荐理由：想不依赖数据中心自己跑 550B 模型？NVIDIA 出了详细教程，四台 DGX Spark 就能拼出 OpenAI 兼容的端点。

原文

13:09

官方账号vLLM@vllm_project

精选

vLLM-Omni TTS团队针对Qwen3-TTS、VoxCPM2、Higgs Audio V3、Fish Speech S2 Pro四种TTS模型分别设计了不同的优化策略。对Qwen3-TTS通过解耦连接器分块和批处理Stage-0解码预处理，在H20×2上音频吞吐量提升61.5%，P99延迟减半。VoxCPM2采用whole-forward torch.compile和CFM/LocDiT解码尾部跨请求批处理，音频吞吐量提升172%。Higgs Audio V3将多码本解码状态机迁移到GPU驻留张量，实现2.7倍加速。Fish Speech S2 Pro为纯解码路径设计了模型特定的q_len=1 Triton注意力内核。

AI模型 vLLM Qwen3-TTS VoxCPM2 Higgs Audio V3 Fish Speech S2 Pro 语音合成推理优化

推荐理由：vLLM团队分享了优化四种主流TTS模型服务的具体技巧，包括性能提升数据和实现细节，对部署TTS服务很有参考价值。

原文

01:31

官方账号vLLM@vllm_project

精选

百度Unlimited-OCR现已集成到vLLM推理框架中，基于Reference Sliding Window Attention（R-SWA）机制实现恒定KV缓存，避免内存暴涨和速度下降。该模型能在32K上下文预算下一次性转录40+页文档，且编辑距离极低。在6K输出token场景下，推理速度比DeepSeek-OCR快35%，GPU内存和吞吐量保持恒定。

AI模型 Unlimited-OCR Baidu vLLM OCR R-SWA

推荐理由：百度开源了Unlimited-OCR，在vLLM上跑，能一次性解析整本书，内存不涨，比DeepSeek-OCR快35%，做文档OCR的好东西。

原文

6月27日

13:54

官方账号vLLM@vllm_project

精选

NVIDIA发布GLM-5.2的NVFP4检查点，在Blackwell GPU上相比FP8内存占用降低一半。该模型在推理、编码和长上下文基准测试中保持与FP8相同的准确率。用户可通过vLLM直接加载运行：vllm serve nvidia/GLM-5.2-NVFP4。

AI模型 GLM-5.2 NVFP4 vLLM NVIDIA 推理模型

推荐理由：想省显存又不想降精度？GLM-5.2的NVFP4版在vLLM上线了，比FP8省一半内存，推理编码长文本都稳。

原文

6月26日

20:05

官方账号vLLM@vllm_project

精选

Cohere 开源了他们使用 AI 编码智能体维护 vLLM fork 的方法。该方法将维护视为控制循环：每次上游发布后 rebase，运行测试，诊断错误，修复，重复直到通过。原本数周的工作缩短到数天。技能库已开源（cohere-ai/vllm-skills），且修复已回馈上游。

技巧 Cohere vLLM 编码智能体开源

推荐理由：Cohere 开源了用 AI agent 维护 vLLM fork 的实践，把几周工作缩到几天，修复还回馈了上游。

原文

08:52

08:52官方一手Hugging Face: Blog（博客/媒体）

精选

HuggingFace推出新功能：只需一条命令即可在HF Jobs上启动vLLM推理引擎。vLLM是一个高性能、低延迟的推理框架，支持多种GPU和自定义模型。该功能简化了从模型托管到服务部署的流程，无需手动配置容器或基础设施。用户可以快速部署LLaMA、Mistral等开源模型。

技巧 vLLM HuggingFace HF Jobs 推理模型部署

推荐理由：HuggingFace出了新招：一行命令就能跑vLLM服务器，省去了手动配置的麻烦，适合快速部署自己的模型。

原文

02:16

官方账号vLLM@vllm_project

精选

vLLM 宣布 Day-0 支持 Liquid AI 的 LFM2.5-230M 小模型。该模型仅 230M 参数，预训练于 19T tokens 且支持 32K 上下文。专为手机、机器人、家庭自动化和网络设备上的 agent 任务设计。可运行于 CPU、NPU 和 GPU 等硬件。

AI模型 LFM2.5-230M vLLM Liquid AI 智能体轻量模型

推荐理由：vLLM 第一时间给 Liquid AI 的 LFM2.5 小模型做了适配，230M 参数跑 agent 任务，手机、机器人上都能用。

原文

6月25日

21:45

Thomas Wolf@Thom_Wolf

实验让100多个智能体协作一周，优化vLLM中Gemma 4推理速度，最终实现5倍提升。智能体自发拒绝人类社交工程尝试，发现验证漏洞并请求社区裁决。四智能体接力构建int4-lm_head检查点，经诊断配置错误后达到118 TPS（2.68×）。GPU富/贫分工、跨智能体内核调试、配额池化等行为涌现。智能体还指出127 TPS“墙”是假象，并讨论了int4-Marlin floor的循环证明问题。

AI模型 Gemma 4 vLLM 多智能体推理优化智能体协作

推荐理由：这个实验展示了100多个AI智能体像人类社区一样自发协作、互相监督，甚至发现了验证漏洞。一周将Gemma 4推理速度优化5倍，很酷。

原文

6月24日

13:13

官方账号vLLM@vllm_project

vLLM 项目宣布支持 DFlash 投机解码，用户只需将 EAGLE-3 检查点替换为 DFlash 检查点即可启用，无需修改代码。该功能通过开源 Speculators 库将 DFlash 草案模型与目标模型的隐藏状态连接。在单块 Blackwell Ultra GPU 上运行 Gemma-4 31B 模型，Math500 基准取得 5.8 倍吞吐量提升，GSM8K 提升 5.3 倍，HumanEval 提升 5.6 倍，MBPP 提升 4.4 倍。

AI模型 DFlash vLLM Gemma-4 NVIDIA 推理优化

推荐理由：vLLM 和 NVIDIA 合作推出 DFlash 投机解码，Gemma-4 31B 推理速度提升近 6 倍，配置只需改一行 checkpoint 路径。

原文

6月19日

03:08

官方账号vLLM@vllm_project

精选72°

Anyscale 与 Google Cloud GKE 合作推出 Ray Serve LLM 新版本，在 vLLM 基础上实现显著性能飞跃。预填密集型负载吞吐量提升 4.4 倍，解码密集型负载提升 24 倍。三个关键优化包括：控制平面端点选择器的直接流式传输、新的 vLLM Ray V2 执行器后端、以及基于 HAProxy 的 C 语言级路由。Ray 的容错、可观察性和跨 K8s/VM 可移植性为复杂推理部署奠定基础。

AI模型 Ray Serve LLM vLLM Anyscale Google Cloud 推理优化

推荐理由：Anyscale 和 Google Cloud 联手让 vLLM 推理快了好几倍，预填负载快 4.4 倍，解码负载快 24 倍，用 Ray V2 执行器就能体验。

原文

6月18日

20:22

官方账号vLLM@vllm_project

精选

vLLM 推出新功能，允许用户在自己的 GPU 上运行开源模型作为编程助手。该引擎兼容 OpenAI Responses API，因此任何使用代码助手的工具都可直接指向你的服务器。支持 NVIDIA、AMD 等多种硬件。当前可部署 GLM 5.2、Kimi K2.7 Code、MiniMax M3 等模型。

AI产品 vLLM 编程助手开源模型 GLM 5.2 Kimi K2.7 Code

推荐理由：vLLM 现在能让你自己在 GPU 上跑开源模型当编程助手，省了 API 钱还更灵活，支持 NVIDIA、AMD 和多种模型。

原文

6月17日

08:30

官方账号vLLM@vllm_project

SemiAnalysis对强化学习训练系统进行深度分析，指出效率关键在于匹配训练器与生成器的吞吐量。研究基于vLLM+verl框架，@KaichaoYou和Ao Shen进行了沙箱扩展实验。该工作建立在@KaichaoYou早期在OpenRLHF、verl、slime等框架的RL集成工作之上。

论文 SemiAnalysis vLLM verl OpenRLHF RL训练

推荐理由：这篇分析硬核拆解RL训练效率瓶颈，vLLM+verl的沙箱实验值得一看。

原文

03:05

官方账号vLLM@vllm_project

精选

vLLM 发布 0.23.0 版本，为 Zai.org 的 GLM-5.2 模型提供 Day-0 支持。GLM-5.2 拥有 1M token 上下文窗口，专为长周期编码智能体设计，可承载从需求到部署的完整开发流程。该模型针对大规模代码实现、自动化研究和性能优化进行了调优，支持客户端和移动端内调试。用户即日起可通过 vLLM 运行该模型。

AI模型 vLLM GLM-5.2 1M token 编程助手推理模型

推荐理由：vLLM 刚发的 0.23.0 直接支持了 GLM-5.2，这个模型有 100 万 token 上下文，适合一口气写完整个项目代码，还能跨平台部署，写代码的可以试试。

原文

6月16日

20:16

官方账号vLLM@vllm_project

精选

Anyscale团队发布报告，介绍如何用Ray Serve和vLLM实现PD Disaggregation。该技术在AMD MI325X GPU上通过了压力测试，验证了实际性能提升。报告强调正确配置是发挥优势的关键。

技巧 vLLM Ray Serve Anyscale AMD MI325X 推理优化

推荐理由：vLLM推荐了Anyscale的这篇实战文章，讲清楚了PD Disagg在Ray Serve加vLLM上的做法，还在AMD MI325X上测过，值得搞推理部署的人看看。

原文

20:16

官方账号vLLM@vllm_project

精选73°

vLLM v0.23.0 包含 408 次提交，来自 200 位贡献者（63 位新贡献者）。主要亮点：DeepSeek-V4 在多个后端上成熟，引入 TRTLLM-gen attention 内核、与 V3.2 解耦的稀疏 MLA 以及用于 Mega-MoE 的 EPLB 调度。Model Runner V2 现已成为 Llama 和 Mistral 稠密模型的默认运行器。新增 Gemma 4 Unified（无编码器）及 MTP 支持。还提供了多层级 KV 缓存卸载（含对象存储层）和统一的推理与工具调用解析器。

AI产品 vLLM DeepSeek-V4 Llama Gemma 4 推理引擎

推荐理由：vLLM v0.23.0 大更新，DeepSeek-V4 和 Llama 用户值得升级，新的 KV 缓存卸载能省显存，推理与工具调用解析也更顺了。

原文

6月12日

22:47

官方账号vLLM@vllm_project

73°

MiniMax AI 发布了新一代开源模型 MiniMax M3，具备前沿的编码和智能体能力，原生支持图像和视频输入、计算机使用功能，并拥有 100 万 token 的上下文窗口。其核心是 MSA（MiniMax Sparse Attention）稀疏注意力架构，通过仅对 top 128-token KV 块进行注意力计算，大幅降低了长上下文推理的计算成本。M3 已在 vLLM 中实现首日支持，可在 NVIDIA 和 AMD 硬件上运行，支持 BF16 和 MXFP8 检查点、MoE 后端、多模态输入、工具调用和推理控制。这一成果是 MiniMax、NVIDIA、AMD 和 vLLM 社区合作的结晶。

AI模型 MiniMax M3 稀疏注意力 1M上下文开源模型 vLLM

推荐理由：M3 的 1M 上下文和稀疏注意力架构解决了长文档和复杂智能体任务的性能瓶颈，做 RAG、代码分析和自动化工作流的团队可以直接在 vLLM 上部署试用。

原文

21:56

官方账号vLLM@vllm_project

Kimi 发布 K2.7-Code，一个专注于编程的智能体模型，基于 K2.6 构建。该模型采用 1T 参数的混合专家架构，每次推理仅激活 32B 参数，配备 MLA 注意力机制和 256K 上下文窗口。相比 K2.6，K2.7-Code 的思考 token 减少了约 30%，推理更高效。该模型已获 vLLM 支持，可直接复用 K2.6 的部署配置，降低了迁移成本。

AI模型编程智能体 MoE/混合专家 Kimi 推理模型 vLLM

推荐理由：编程智能体模型终于有了更高效的选择——K2.7-Code 在保持 1T 参数规模的同时，将激活参数压缩到 32B，做代码生成和推理的开发者可以直接在 vLLM 上复用现有部署，值得一试。

原文

12:10

官方账号vLLM@vllm_project

精选73°

GoogleDeepMind 推出了 DiffusionGemma，这是一个基于 Gemma4 架构的 26B 参数扩散语言模型（dLLM），并成为 vLLM 原生支持的首个扩散语言模型。与传统自回归模型逐个生成 token 不同，DiffusionGemma 能并行去噪 256 个 token 的块，在单张 H200（FP8）上以 batch size 1 实现超过 1200 输出 token/秒的吞吐量。该模型通过 vLLM 的 model runner v2 的 ModelState 和现有推测解码路径实现，对调度器和运行器改动极小。FP8 和 NVFP4 检查点已托管在 RedHat AI 中心，由 GoogleDeepMind、RedHat AI 和 NVIDIA AI 团队合作完成。这一进展标志着扩散模型在高效文本生成领域迈出重要一步。

AI模型扩散语言模型 vLLM GoogleDeepMind 并行生成推理加速

推荐理由：DiffusionGemma 用并行去噪替代逐 token 生成，大幅提升推理速度，做大规模文本生成或实时应用的团队可以直接在 vLLM 中体验，值得关注。

原文

12:10

官方账号vLLM@vllm_project

精选

Inferoa 是一个由 @agenticin 构建的社区智能体框架，基于 vLLM 技术栈。它通过推理经济学来塑造智能体循环，包括前缀缓存管理、上下文优化以及在自托管模型和前沿模型之间的路由。该框架旨在帮助开发者更高效地运行智能体，降低推理成本。vLLM 项目团队对此表示期待，并希望开发者能进一步扩展其功能。

AI产品智能体 vLLM 推理优化社区框架开源/仓库

推荐理由：Inferoa 把推理成本优化直接嵌入智能体循环，做智能体应用或自托管模型的开发者值得关注，能帮你省下不少推理开销。

原文

12:09

官方账号vLLM@vllm_project

精选

vLLM 宣布对 Cohere 的 North Mini Code 模型提供 Day-0 支持，该模型是一个开源的编码模型，专为智能体工作流设计。模型采用 Mixture-of-Experts 架构，总参数量 30B，活跃参数 3B，支持 256K 上下文和 64K 最大生成长度。它具备推理、工具使用和结构化输出能力，可直接通过最新稳定版 vLLM 部署。这一支持让开发者能快速在 vLLM 上运行该模型，用于构建复杂的智能体应用。

AI产品 vLLM Cohere North Mini Code 编码模型智能体

推荐理由：做智能体工作流和编码应用的开发者，现在可以直接用 vLLM 部署 Cohere 的 North Mini Code 模型，省去适配麻烦，建议试试。

原文