Primary sourcemarktechpost
View sourceEvent ·Official first-hand
Google、Red Hat 与 IBM 发布 llm-d 1.0 开源分布式推理栈
Google、Red Hat 和 IBM 联合发布 llm-d 1.0，这是一个基于 Kubernetes 的开源分布式 LLM 推理栈。该版本支持多租户流控、零停机升级，并能在 vLLM、SGLang、TPU 和 GPU 之间进行缓存感知与面向智能体的路由。它面向需要在多硬件集群上运行大模型推理的工程团队。
Current read
做 LLM 推理部署的可以看看，llm-d 1.0 开源了，能管多租户、不停机升级，还支持 TPU 和 GPU 混用。
2 sources52° AI heatLast updated 2026/10/21 04:33:40
Evidence
2 sourcesRelated source 1PyTorch
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.