MinHash 是一种用于近似估计两个集合相似度的哈希技术,通过将文档压缩为短签名来快速识别内容相近的文本,是大模型训练语料去重和检索系统去重的核心基础方法之一。随着 LLM 对高质量数据的需求上升,MinHash 正从独立的数据处理流水线逐步内嵌到主流向量数据库与检索基准中。
MinHash 在向量数据库中的落地
Milvus 2.6 版本新增了原生 MinHash LSH 索引,目标是降低 LLM 训练语料的去重成本,把去重能力直接做进数据库查询层。在此基础上,Milvus 3.0 进一步内置了 MinHash 近重复检测,用户无需再单独搭建独立的去重流水线。官方还演示了用 MinHash 结合 LSH 检测训练数据中的重复与改写文档,说明该技术不仅能识别完全重复,也能覆盖改写类的近似重复场景。相关进展可参考 Milvus 2.6 新增原生 MinHash LSH 索引、Milvus 3.0 内置 MinHash 近重复检测 和 Milvus 用 MinHash 和 LSH 检测训练数据里的重复与改写文档。
MinHash 在检索基准中的应用
去重同样是评测数据构建的必要环节。Perplexity 发布的面向 Agentic RAG 系统第一阶段检索的大规模基准 Q2D-Web 中,语料库由每个查询的 top 5,000 条生产检索结果组成,并使用 MinHash 类方法进行去重。该基准包含 1.9 亿网页文档、近 7 万条真实智能体改写的查询,每条查询平均约 100 个正例标注(见 Perplexity 发布 Q2D-Web 基准),表明 MinHash 已成为大规模检索评测集构建的标准工具。
当前焦点与观察点
目前的关注点主要集中在三个方面:一是 MinHash 从独立工具走向数据库原生能力后,去重的运维成本和使用门槛能否显著下降;二是 MinHash 与 LSH 的组合在处理改写类近似重复时的召回精度边界;三是理论上对其变体的持续研究,例如 arXiv 上关于多标签 Jaccard 测度凸校准维度指数下界的最新工作(arXiv:2608.13549),仍在推进相关数学基础。整体来看,MinHash 的工程地位正在稳固,行业争议不大,更多是实现细节与成本效率的比拼。