Buoyant 开源 Kinference：面向 Kubernetes 和 vLLM 的推理控制平面
Buoyant Releases Kinference: An Open Source Inference Control Plane for Kubernetes and vLLM
Buoyant 开源了 Kinference，给 Kubernetes 上跑 vLLM 加了 KV-cache 感知负载均衡，自家基准里首 token 延迟降了 95%。
Buoyant 发布了开源项目 Kinference，以 Apache 2.0 许可证提供，定位为 vLLM 在 Kubernetes 上的推理控制平面。它提供声明式路由策略、感知 KV-cache 的负载均衡以及按租户划分的指标监控。在 Buoyant 自己的基准测试中，Kinference 将中位 TTFT（首 token 延迟）降低了 95%。
Buoyant Releases Kinference: An Open Source Inference Control Plane for Kubernetes and vLLM
Buoyant has released Kinference, an Apache 2.0 inference control plane for vLLM on Kubernetes. It adds declarative routing policies, KV-cache-aware load balancing and per-tenant metrics, and cut median TTFT 95% in Buoyant’s own benchmark. The post Buoyant Releases Kinference: An Open Source Inference Control Plane for Kubernetes and vLLM appeared first on MarkTechPost .
