Chinese contentBuoyant 开源 Kinference：面向 Kubernetes 和 vLLM 的推理控制平面
Buoyant 开源了 Kinference，给 Kubernetes 上跑 vLLM 加了 KV-cache 感知负载均衡，自家基准里首 token 延迟降了 95%。
#Buoyant
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "Buoyant", newest first.
Nov 7
