#Gigatoken

3 stories · 0 in 7 days · 0 in 30 days

Stories, products and papers tagged "Gigatoken", newest first.

Jul 23

ProductsOfficial16:10

想给大模型训练或推理提速？这个HuggingFace分词器速度近千倍的开源Rust工具值得一试。

官方一手marktechpost@Asif Razzaq5 sourcesSource

Jul 22

ProductsSelected12:10

Gigatoken解决了tokenization的瓶颈，训练前不用再傻等，速度提升非常明显。

Stanford AI Lab@StanfordAILab2 sourcesSource

ProductsMulti-source79°04:25

Marcel Rød 搞了个 Gigatoken，比 HuggingFace 快上千倍，比 tiktoken 快百倍，跑 tokenizer 的抓紧试试。

Stanford AI Lab@StanfordAILab11 sourcesSource