谷歌TPU跑Kimi比英伟达GPU快57%，底层用的是DeepSeek推理框架
vLLM那帮人创业后干的活：把Kimi K2塞进谷歌TPU，速度比英伟达GPU还快57%，框架还是DeepSeek开源的，搞推理的可以看看细节。
#vLLM
共 140 条 · 7 天 32 条 · 30 天 55 条
9月26日
9月25日
PyTorch 大会将分享在 ARM CPU 上优化 MoE 模型推理的方法
Fujitsu 的工程师要在 PyTorch 大会讲怎么用 vLLM 和 OpenVINO 在 ARM CPU 上跑 MoE 模型，做端侧部署的可以关注。
vLLM 团队亮相阿里云 Apsara Conference 2026，谈开源推理与 Agent 工作负载
vLLM 的人跑去阿里云大会分享推理经验，讲的是 Agent 时代开源推理怎么演进，做推理部署的可以看看
RL-Kernel 集成 vLLM：Qwen3-8B 训练与推理 logprob 逐位一致
用 vLLM 做 RL 训练的老大难——训练和推理数值对不上，这次在 AMD MI300X 上真做到了逐位一致，做 RL 的都该看看。
9月24日
阿里云 Apsara 大会：vLLM 核心维护者谈 Qwen3.8-Max 与开源 AI 演进
阿里云 Apsara 大会上，vLLM 核心维护者聊了 Qwen3.8-Max 在 Agent 任务上的表现，做开源推理的可以看看他怎么看。
9月23日
9月22日
9月21日
9月18日
9月11日
寒武纪完成 DeepSeek-V4.1-Flash 在 vLLM 上的适配
寒武纪搞了个新东西，叫 Day-0，能让 DeepSeek-V4.1-Flash 模型直接在他们的芯片上跑，不用额外优化，挺厉害的。
9月10日
Qwen3.8-2.4T-A95B在Amazon SageMaker HyperPod部署
阿里开源的Qwen3.8-2.4T-A95B模型现在能在AWS SageMaker HyperPod上部署了，教程详细说明了集群配置和量化方法。
9月9日
9月5日
8月30日
8月21日
8月20日
8月15日
8月10日
8月7日
Simon Mo与Matt Bornstein谈开源权重模型：成本与控制
Simon Mo是vLLM作者，他讲开源权重模型怎么在成本和控制上赢过闭源API，还吐槽专有API宕机问题，适合做线上服务的开发者。
8月5日
论文09:43
SALT 框架：固定质心按需交换残差，实现高效超低秩 LoRA 服务LoRA 服务老被显存和 PCIe 卡脖子？SALT 用 r≤2 的残差加固定质心，精度追上高秩，vLLM 吞吐最高多 51%。
8月4日
7月30日
论文09:43
InferScale: GPU原生KV注入实现个性化LLM服务看完这篇论文，你就明白怎么让 LLM 在有多层记忆时不再反复重算——InferScale 直接把 KV 缓存存好，做到检索量再大 TTFT 基本不变。
7月25日
7月24日
PrimeIntellect发布 prime-rl 0.6.0：基于vLLM的万亿级Agentic RL训练
PrimeIntellect 用 vLLM 把 agentic RL 搞到万亿参数级了，FP8 加专家并行，28 个 H200 节点跑 131k 序列，每步不到 5 分钟，训练 GLM-5 做 SWE 任务。
7月23日
vLLM meetup 回归：社区齐聚讨论路线图与 agentic workloads
vLLM 社区又聚在一起了，这次聊了路线图和 agent 负载，还和 CrusoeAI、a16z 联手，挺有料的。
产品04:33
listen-habibi：阿拉伯语语音转录 Docker 工具这个工具专门针对阿拉伯语语音转录，用 Cohere 的模型，跑在 Docker 里插链接或文件就能出文本，做阿拉伯语内容的朋友可以试试。
7月18日
7月16日