#TokTier

1 stories · 0 in 7 days · 0 in 30 days

vLLM 1 分词 1 智能体 1

Stories, products and papers tagged "TokTier", newest first.

Aug 4

PapersSelected72°07:42

Chinese contentTokTier有状态分词提升智能体服务，TTFT最高降34%

做智能体服务的朋友看下，TokTier把长记录重复分词干掉了，vLLM下首字延迟降16%-34%，省GPU。

#TokTier #vLLM #智能体 #分词

elvis@omarsar0Source