23:55
官方账号Perplexity@perplexity_ai
官方账号Perplexity@perplexity_ai精选
推荐理由：Perplexity AI编码器快了5倍
SentencePiece
共 1 条相关 AI 资讯
5月27日
23:55
Perplexity AI发布的编码器在生产输入长度下，p50延迟比HuggingFace tokenizers低约5倍，比SentencePiece C++低2倍，比IREE C低1.5倍。在514 tokens的输入时，运行时间仅为63微秒，且实现零堆分配。该编码器专门针对长输入场景优化，显著提升推理效率。