01:10Milvus@milvusio精选Milvus 尝试跳过压缩步骤,直接在文档完整 embedding list 上建立 HNSW 图索引。该方法在 TREC-COVID 上 nDCG@10 达 0.98,远超 MUVERA、LEMUR 等方法的 0.87-0.89。端到端检索中 TREC-COVID 分数 0.516 与 BruteForce 完全持平,MS MARCO 上 0.957 接近精确上限的 0.966。但构建成本显著增大:MS MARCO 平均长度 87 时耗时 6 倍,TREC-COVID 长度 236 时达 18 倍。对于 ColQwen2 等每文档含 5143 个 patches 的长向量,该方法成本过高无法实用。实验揭示当前近似策略的质量损失主要源自向量压缩步骤而非 HNSW 索引本身。AI模型HNSWMilvus嵌入列表索引向量检索近似搜索推荐理由:Milvus 把 embedding 列表直接塞进 HNSW,质量几乎追上暴力搜索,比 MUVERA 高了一截,但成本也翻了 6-18 倍,长文档还不支持。适合对精度有极致需求的项目。原文
08:05Milvus@milvusio精选Zilliz 开发者关系主管在伦敦 Unstructured Data Meetup 上分享了两种在 Zilliz Cloud 中保持过滤向量搜索快速且准确的方法。第一种方法是在过滤时保留图连接性,允许搜索临时遍历被过滤的节点作为中间跳转,避免 HNSW 图形成孤立“岛屿”导致召回率下降。第二种方法针对高选择性过滤器,当过滤后数据子集很小时,先过滤再暴力扫描可能比索引搜索更快。这些技术解决了大规模向量搜索中过滤与速度的平衡问题。AI产品向量搜索过滤Zilliz CloudHNSW性能优化推荐理由:做向量搜索或 RAG 系统的开发者,这个方案直接解决了过滤后召回率下降的痛点,值得看看 Zilliz 的工程实践。原文
17:31Weaviate@weaviate_io精选Weaviate 发布了名为 HFresh 的新型向量搜索索引,它通过将向量存储在磁盘上,仅在内存中保留紧凑的质心索引,大幅降低了内存需求。HFresh 将向量划分为多个小区域(postings),利用内存中的 HNSW 索引定位相关区域,再从磁盘获取数据,并采用两级旋转量化压缩。相比传统 HNSW 索引,HFresh 在十亿级向量规模下仍能保持可预测的延迟,尤其适合高维嵌入、成本敏感部署和写入密集型场景。目前 HFresh 已在 Weaviate Cloud 中提供,建议在非生产环境中测试。AI产品向量搜索HNSWHFreshWeaviate内存优化推荐理由:做向量搜索的团队终于不用为内存账单发愁了——HFresh 把 HNSW 的内存占用砍到零头,十亿级向量也能跑在更小的机器上,成本敏感或写入密集的场景尤其值得一试。原文