23:54
Milvus@milvusio
Milvus@milvusio73°
推荐理由：Milvus 2.6 加了一个原生MinHash LSH索引，专门用来做大文本集合的近似去重，比MapReduce方案快3-5倍，适合搞LLM训练数据清洗的团队。
文本去重
共 1 条相关 AI 资讯
7月13日
23:54
重复文本会增加LLM预训练成本并扭曲数据权重。Milvus 2.6将MinHash LSH作为原生索引类型，提供专用MHJACCARD指标，支持在集合规模上做近似去重。某AI公司用此管道处理100亿文档，吞吐量翻倍，成本降低3-5倍。该方法可应用于LLM训练数据清洗和大型抄袭检测，但无法识别语义改写。