精选理由
Perplexity AI编码器快了5倍
Perplexity AI发布的编码器在生产输入长度下，p50延迟比HuggingFace tokenizers低约5倍，比SentencePiece C++低2倍，比IREE C低1.5倍。在514 tokens的输入时，运行时间仅为63微秒，且实现零堆分配。该编码器专门针对长输入场景优化，显著提升推理效率。
AI 翻译 · 中文
Perplexity AI发布的编码器在生产输入长度下，p50延迟比HuggingFace tokenizers低约5倍，比SentencePiece C++低2倍，比IREE C低1.5倍。在514 tokens的输入时，运行时间仅为63微秒，且实现零堆分配。该编码器专门针对长输入场景优化，显著提升推理效率。
At production input lengths, the encoder cuts p50 latency by roughly 5× vs. HuggingFace tokenizers, 2× vs. SentencePiece C++, and 1.5× vs. IREE C. At 514 tokens, it runs in 63 µs with zero heap allocations. 💬 1 🔄 4 ❤️ …