AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：CSLS×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月27日
10:07
10:07arXiv: OpenAI@Adib Sakhawat, Fardeen Sadab, Atik Shahriar
精选
多语言嵌入模型假设跨语言检索是对称的，但实际中并非如此。研究使用 6,518 条英、孟、印、阿语习语和谚语平行语料，测试了 Gemini、Mistral、OpenAI-L、OpenAI-S、Qwen 五个编码器，发现 hubness（中心性）是导致检索不对称的主要几何病理，而非各向异性、质心漂移或向量幅度。在预注册实验中，hub mass 对互惠性的联合回归主导份额达 49.5%，是次优预测因子的 1.68 倍，而基于 hub 感知的 CSLS 评分修正可缩小 63.5% 的最差-最佳互惠差距。研究建议用 CSLS 替代余弦相似度作为多语言嵌入管道的默认检索指标。
论文多语言嵌入检索不对称HubnessCSLS余弦相似度
推荐理由：多语言检索不对称是实际部署中的常见痛点，做跨语言 NLP 或搜索的团队可以直接用 CSLS 替换余弦相似度，效果提升显著且无需重新训练模型。
原文