23:55Perplexity@perplexity_ai精选Perplexity AI发布的编码器在生产输入长度下,p50延迟比HuggingFace tokenizers低约5倍,比SentencePiece C++低2倍,比IREE C低1.5倍。在514 tokens的输入时,运行时间仅为63微秒,且实现零堆分配。该编码器专门针对长输入场景优化,显著提升推理效率。AI模型Perplexity AIHuggingFaceSentencePiece编码器性能优化推荐理由:Perplexity AI编码器快了5倍原文