AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：增量算法×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月1日
10:54
10:54arXiv: OpenAI@Shenghu Jiang, Ruihao Gong
精选
研究人员提出了一种增量BPE分词算法，能够在流式场景中高效处理输入文本。该算法在最坏情况下每个字节的处理时间为O(log² t)，总体复杂度为O(n log² t)，其中n为输入长度，t为最大token长度。相比Hugging Face的tokenizers，该算法实现了约3倍的速度提升，并在病态输入上显著降低了延迟。此外，算法还支持流式输出，能在确定token边界后立即输出结果。这项研究为大型语言模型管道中的分词环节提供了实用的延迟优化。
论文BPE分词增量算法流式处理LLM管道开源/仓库
推荐理由：BPE分词是LLM推理的常见瓶颈，这个增量算法让流式场景提速3倍，做模型部署或实时推理的团队可以直接替换现有方案，值得一试。
原文