16:10
官方一手marktechpost@Asif Razzaq
官方一手marktechpost@Asif Razzaq推荐理由：想给大模型训练或推理提速？这个HuggingFace分词器速度近千倍的开源Rust工具值得一试。
BPE分词器
共 1 条相关 AI 资讯
7月23日
16:10
Gigatoken是一款MIT许可的Rust BPE分词器，在144核AMD EPYC 9565上实现GPT-2分词速度24.53 GB/s。相比HuggingFace分词器快989倍，比tiktoken快681倍，且这些基线本身已用多线程Rust实现。性能提升来自手写SWAR预分词器和预缓存技术，而非更快的BPE合并循环。该工具可大幅加速文本编码流程。