00:40
Milvus@milvusio
Milvus@milvusio精选
推荐理由：Milvus团队介绍的Max-Min语义分块方法先嵌入句子再依据语义决定分块边界，比传统固定长度分块更聪明，适合想提升RAG检索质量的人学习。
语义相似度
共 1 条相关 AI 资讯
7月10日
00:40
标准RAG管道采用先分块后嵌入的流程：分块→嵌入→索引→检索→生成，但固定长度或递归分割的分块方式存在精度与上下文的权衡。Max-Min Semantic Chunking采用先嵌入后分块模式：先用文本嵌入模型将所有句子映射到高维空间，再通过计算块内最小余弦相似度和新句子与块的最大余弦相似度决定是否合并。该方法的决策规则是：若新句子与块的最强连接大于块内最弱内部链接，则加入当前块，否则开启新块。它维护句子顺序，通过自适应大小限制和相似度阈值保持块连贯性。但因为它按顺序局部聚类，可能遗漏长文档中跨段落的远距离依赖。