模型精选

Qdrant 实测:TurboQuant 压缩 pplx-embed-v2-late 向量 21 倍,重排后保留 99.9% 检索质量

精选理由

Qdrant 实测 Perplexity 新嵌入模型:向量压 21 倍精度几乎不掉,代价是要留原始向量做重排,做检索的可以看这组数据。

Qdrant 在 4 个 ViDoRe v3 数据集上测试了 Perplexity 的 pplx-embed-v2-late 嵌入模型搭配自家 TurboQuant 量化的效果。每页向量存储从 856 KB 压到 40 KB,体积缩小 21 倍。经过重排(rescoring)后,检索质量仍保留基线的 99.9%。代价是重排这一步需要未量化的原始向量,也就是仍要保留一份 856 KB 的完整版本。

图片来源 · Qdrant
原文 · Qdrant

21× smaller vectors. 99.9% of baseline retrieval quality retained with rescoring. We tested Perplexity’s pplx-embed-v2-late with Qdrant’s TurboQuant across 4 ViDoRe v3 datasets. 856 KB → 40 KB per page, with a trade-off: rescoring requires the original vectors. ⁠Full benchmarks below 👇 Your browser does not support the video tag. 🔗 View on Twitter 💬 1 🔄 1 ❤️ 6 👀 223 📊 2 ⚡