产品多源确认79°04:25Marcel Rød 发布世界最快分词器 Gigatoken，速度超 HuggingFace 千倍Marcel Rød 搞了个 Gigatoken，比 HuggingFace 快上千倍，比 tiktoken 快百倍，跑 tokenizer 的抓紧试试。#Gigatoken#Marcel Rød#tokenizer#性能优化10 个信源在谈事件专题Stanford AI Lab@StanfordAILab11 个信源在谈原文稍后读已读值得跟进有用关注 Gigatoken
