Gigatoken 相关 AI 资讯 · AI 热点

7月22日

04:25

04:25

Stanford AI Lab@StanfordAILab

79°

Marcel Rød 发布了 Gigatoken，自称是世界上最快的 tokenizer 实现。该实现比 HuggingFace 快 500-1000 倍，比 OpenAI 的 tiktoken 快约 100 倍，而这些基线已经是多线程 Rust 实现。Gigatoken 适用于大多数 tokenizer 定义和机器。Marcel 也是斯坦福 CS 336 课程（从头实现 LLM）的合著者。

AI产品 Gigatoken Marcel Rød tokenizer

推荐理由：Marcel Rød 搞了个 Gigatoken，比 HuggingFace 快上千倍，比 tiktoken 快百倍，跑 tokenizer 的抓紧试试。