#TokenFleet

1 stories · 1 in 7 days · 1 in 30 days

GPU集群 1 LLM推理 1 METASTONE 1

Stories, products and papers tagged "TokenFleet", newest first.

Oct 21

Products BuildersOfficial10:06

Chinese contentMETASTONE 发布 TokenFleet，跨 GPU 集群调度 LLM 推理

METASTONE 出了个叫 TokenFleet 的推理调度框架，P95 首 token 延迟降了 32.4%，吞吐提升近三成，做推理部署的可以看看。

#TokenFleet #METASTONE #LLM推理 #GPU集群

官方一手pandaily@[email protected] (Pandaily)Source