Gigatoken: Rust BPE分词器，编码速度达24.53 GB/s，比HuggingFace快989倍

Gigatoken是一款MIT许可的Rust BPE分词器，在144核AMD EPYC 9565上实现GPT-2分词速度24.53 GB/s。相比HuggingFace分词器快989倍，比tiktoken快681倍，且这些基线本身已用多线程Rust实现。性能提升来自手写SWAR预分词器和预缓存技术，而非更快的BPE合并循环。该工具可大幅加速文本编码流程。