向量索引

general · First seen 2026-05-23 · Last seen 2026-10-27 · 5 mentions

Overview

向量索引是一种将高维向量数据组织起来以支持快速相似度检索的技术结构,是 RAG 应用、语义搜索和推荐系统等 AI 检索场景的核心基础设施。随着大模型检索需求的增长,这一领域正沿着降低内存占用、提升量化效率和嵌入数据库生态三个方向快速演进。

向量索引近期进展

  • 开源数据库集成加速。阿里云 PolarDB-X 开源 v2.5.0 版本发布,新增 AI Function 与 HNSW 向量索引,反映出传统分布式数据库正在将向量检索能力纳入原生功能,而非依赖独立向量数据库。
  • 存储成本大幅压缩。开源项目 LEANN(发表于 MLSys 2026)可将 6000 万条文本块的 RAG 索引从 201 GB 压缩到 6 GB,存储缩减约 97%,直击大文档检索场景中磁盘开销过高的痛点。
  • 量化算法落地新实现。基于 Google TurboQuant 算法的 Rust 项目 Turbovec 提供 Python 绑定,说明前沿量化压缩方法正更快地从论文走向可用的工程库,Rust 生态在向量检索领域的存在感也在上升。
  • 工业级规模应用。腾讯云宣布元宝搜索对外开放,称已构建千亿级索引规模,定价每千次 14 元起,表明大规模向量检索已进入商业化服务阶段,并开始按调用次数明确定价。
  • 当前焦点与观察点

    现阶段讨论集中在三个权衡上。第一是速度与效率的取舍:Weaviate 的技术分析讨论了不同向量索引类型在查询延迟、构建成本与召回质量之间的取舍,HNSW、IVF、扁平索引各有适用场景,没有万能选项。

    第二是质量衰减问题。Milvus 的实践总结指出 RAG 上线后召回率下降的三个常见原因,提示索引压缩和参数调优不能以牺牲召回率为代价——LEANN 这类高压缩方案的实际召回表现值得持续关注。

    第三是生态归属之争:向量索引能力究竟内置在通用数据库中(如 PolarDB-X 路线),还是由专用向量数据库承担,抑或以轻量库形式存在(如 Turbovec),目前三条路线并行。对使用者而言,选型时应优先结合数据规模、内存预算和召回率要求做基准测试,而非仅看性能宣传。

    Coverage

    6 on file