BrahmicTokenizer-131K：替代o200k_base的印度语言分词器
做多语言NLP或印度语AI应用的团队终于有了一个不牺牲英语和代码性能的专用分词器——直接替换o200k_base就能获得印度语26.7%的token节省，建议做LLM训练或推理优化的开发者试试。
#分词器
共 5 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「分词器」标签的资讯、产品与论文，按刊登时间排，新的在上。
5月29日
5月28日
Perplexity AI 开源 Unigram 分词器，p50 延迟比 Hugging Face 低 5 倍
做搜索或 RAG 系统的团队终于有了更快的分词方案——Perplexity 开源的这个 Unigram 分词器直接降低 5 倍延迟和 6 倍 CPU 消耗，建议有高吞吐需求的开发者立刻试一下。
Perplexity 开源 Unigram 分词器，CPU 利用率降低 5-6 倍
Perplexity 解决了推理管线中 CPU 分词这个容易被忽视的瓶颈，做低延迟 AI 应用或自建搜索/重排序系统的团队可以直接用这个开源方案来加速。
Perplexity 开源高效 Unigram 分词器，CPU 利用率降低 5-6 倍
Perplexity 把生产级分词器开源了，CPU 利用率降 5-6 倍，做推理优化的团队可以直接拿来用，减少延迟瓶颈。
5月14日
Ensembits：首个蛋白质构象集合的离散化分词器
做蛋白质结构预测和语言建模的团队终于有了能处理动态构象的工具——Ensembits 从单个结构就能预测运动模式，比静态分词器更贴近真实生物学，做功能预测和突变效应分析的可以直接用。