07:42
elvis@omarsar0
elvis@omarsar0精选72°
推荐理由：做智能体服务的朋友看下，TokTier把长记录重复分词干掉了，vLLM下首字延迟降16%-34%，省GPU。
TokTier
共 1 条相关 AI 资讯
8月4日
07:42
TokTier提出有状态分词方法，解决智能体场景下代码转录重复提交导致的分词不可复用问题。在153,951次真实智能体调用中，提示缓存命中率94.1%时，分词仍占用首token时延的64%。该方法只对追加位置附近的小窗口重新分词，并通过稳定边界检查拼接，在17个分词器家族的1.5e10次分割检查中零偏差。增量修复100K到3M字符耗时0.5至1.1毫秒，比HuggingFace快最多437倍；在vLLM下中位首token时延下降16%至34%。