Perplexity 开源 Unigram 分词器，CPU 利用率降低 5-6 倍
Perplexity 解决了推理管线中 CPU 分词这个容易被忽视的瓶颈，做低延迟 AI 应用或自建搜索/重排序系统的团队可以直接用这个开源方案来加速。
#CPU优化
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「CPU优化」标签的资讯、产品与论文，按刊登时间排，新的在上。
5月28日
Perplexity 解决了推理管线中 CPU 分词这个容易被忽视的瓶颈，做低延迟 AI 应用或自建搜索/重排序系统的团队可以直接用这个开源方案来加速。
