#文本去重

1 stories · 0 in 7 days · 0 in 30 days

Stories, products and papers tagged "文本去重", newest first.

Jul 13

Products73°23:54

Chinese contentMilvus 2.6 新增原生MinHash LSH索引，降低LLM训练语料去重成本

Milvus 2.6 加了一个原生MinHash LSH索引，专门用来做大文本集合的近似去重，比MapReduce方案快3-5倍，适合搞LLM训练数据清洗的团队。

#Milvus #MinHash LSH #Milvus 2.6 #文本去重

Milvus@milvusioSource

文本去重 · AI news | AITOP