AI产品精选

Weaviate 推出 HFresh:将向量索引内存占用降低至 HNSW 的零头

Spending half your budget on memory just to keep your vector index running? There's a better way. ...

精选理由

做向量搜索的团队终于不用为内存账单发愁了——HFresh 把 HNSW 的内存占用砍到零头,十亿级向量也能跑在更小的机器上,成本敏感或写入密集的场景尤其值得一试。

AI 摘要

Weaviate 发布了名为 HFresh 的新型向量搜索索引,它通过将向量存储在磁盘上,仅在内存中保留紧凑的质心索引,大幅降低了内存需求。HFresh 将向量划分为多个小区域(postings),利用内存中的 HNSW 索引定位相关区域,再从磁盘获取数据,并采用两级旋转量化压缩。相比传统 HNSW 索引,HFresh 在十亿级向量规模下仍能保持可预测的延迟,尤其适合高维嵌入、成本敏感部署和写入密集型场景。目前 HFresh 已在 Weaviate Cloud 中提供,建议在非生产环境中测试。

AI 翻译 · 中文

Weaviate 发布了名为 HFresh 的新型向量搜索索引,它通过将向量存储在磁盘上,仅在内存中保留紧凑的质心索引,大幅降低了内存需求。HFresh 将向量划分为多个小区域(postings),利用内存中的 HNSW 索引定位相关区域,再从磁盘获取数据,并采用两级旋转量化压缩。相比传统 HNSW 索引,HFresh 在十亿级向量规模下仍能保持可预测的延迟,尤其适合高维嵌入、成本敏感部署和写入密集型场景。目前 HFresh 已在 Weaviate Cloud 中提供,建议在非生产环境中测试。

WeaviateSpending half your budget on memory just to keep your vector index running? There's a better way. HNSW is the gold standard for vector search, but it needs everything in memory. As datasets grow, that gets expensive.