向量检索

general · First seen 2026-05-26 · Last seen 2026-11-17 · 32 mentions

Overview

向量检索是一种通过将文本、图像等内容编码为高维向量,并按相似度快速找出最相关结果的技术,是当前 RAG、语义搜索和推荐系统的核心基础设施。近期围绕它的讨论集中在三个方向:降低多向量模型的存储与计算成本、改进索引算法的效率,以及在检索质量与压缩率之间寻找更优平衡。

向量检索的近期进展

  • Token Pooling-Aware Training:给多向量嵌入模型瘦身 —— Hugging Face 提出在训练阶段就让模型适配 token 池化,使 ColBERT 这类多向量嵌入模型在不明显损失检索质量的前提下大幅减少需要存储的向量数量。
  • Meta FAIR 发布 e-means:更快替代 mini-batch k-means 并入 FAISS 1.16.0 —— Meta FAIR 推出的 e-means 算法已并入 FAISS 1.16.0,用于加速聚类这一向量索引构建的关键环节,降低了大规模索引的构建成本。
  • Qdrant 实测:TurboQuant 压缩 pplx-embed-v2-late 向量 21 倍,重排后保留 99.9% 检索质量 —— Qdrant 的实测显示,配合重排机制后,21 倍压缩仍能保留 99.9% 的检索质量,说明「粗召回 + 精排」已成为压缩场景的主流做法。
  • 层级表示与量化如何取舍:基于 MTEB 38 任务的实证研究 —— 该研究在 MTEB 的 38 个任务上系统比较了层级表示与量化方案的取舍,为工程选型提供了实证依据。
  • 当前焦点与观察点

    一是索引与压缩算法的持续迭代。除 e-means 和 TurboQuant 外,Pinecone 也通过直播形式讲解 IVF + RaBitQ 的组合原理,量化方法正从论文走向主流引擎的默认选项。

    二是模型升级与索引重建的矛盾。Hyperspherical Simplex 表征的研究提出让嵌入模型升级后无需重建索引,直击生产环境中最昂贵的运维成本之一,值得关注其能否被主流厂商采纳。

    三是多模态与 late interaction 的落地。Milvus 3.0 展示了用 late interaction 对视觉 PDF 做检索的演示,Qdrant 实测对象也选了 late interaction 模型,说明高成本但高质量的交互式检索正逐步变得可负担。

    四是场景扩展。Pinecone 与 Zilliz 都在讨论智能体、RAG 之外的需求以及生产级架构,而 EmbeddingGemma 2 被做成 macOS 菜单栏本地语义搜索工具,则体现了向量检索向个人端侧下沉的趋势。总体来看,向量检索的竞争已从「能不能检索」转向「更便宜、更小、更耐用」的工程优化阶段。

    Coverage

    10 on file