LEMUR 多向量压缩策略在长尾语料上存在长度偏差问题

𝗟𝗘𝗠𝗨𝗥 𝗶𝘀 𝘁𝗵𝗲 𝗺𝘂𝗹𝘁𝗶-𝘃𝗲𝗰𝘁𝗼𝗿 𝘀𝘁𝗿𝗮𝘁𝗲𝗴𝘆 𝘁𝗵𝗮𝘁 𝗹𝗼𝗼𝗸𝘀 𝗲𝗮𝘀𝗶𝗲𝘀𝘁 ...

精选理由

做向量检索的团队注意了——LEMUR 在长尾语料上会悄悄按文档长度排序而非相关性,LoTTE 上召回率从 98% 掉到 30.5%。如果你的语料长度差异大(P90/P10 > 20),建议先跑文中的两个检查再决定是否用 LEMUR。

AI 摘要

LEMUR 是一种将多向量压缩为单向量的策略,声称无需调参、数据驱动。但研究发现,在文档长度差异大的语料(如 LoTTE,长度范围 400 倍)上,LEMUR 会学习到“长文档得分更高”的偏差,导致按长度而非相关性排序。在 LoTTE 上,LEMUR 的 nDCG@10 仅 0.109,召回率 30.5%,而 Exact MaxSim 方法达 0.722 和 98%。问题根源在于 LEMUR 的训练标签(MaxSim 分数)天然偏向长文档,MLP 学到了长度信号。建议用户检查语料的长度分布(P90/P10 比)和模型的可分离性(MaxSim 标准差),若长度差异大或可分离性高,应改用 TokenANN 或 MUVERA。已使用 LEMUR 的团队可通过长度分层采样缓解偏差。

AI 翻译 · 中文

LEMUR 是一种将多向量压缩为单向量的策略,声称无需调参、数据驱动。但研究发现,在文档长度差异大的语料(如 LoTTE,长度范围 400 倍)上,LEMUR 会学习到“长文档得分更高”的偏差,导致按长度而非相关性排序。在 LoTTE 上,LEMUR 的 nDCG@10 仅 0.109,召回率 30.5%,而 Exact MaxSim 方法达 0.722 和 98%。问题根源在于 LEMUR 的训练标签(MaxSim 分数)天然偏向长文档,MLP 学到了长度信号。建议用户检查语料的长度分布(P90/P10 比)和模型的可分离性(MaxSim 标准差),若长度差异大或可分离性高,应改用 TokenANN 或 MUVERA。已使用 LEMUR 的团队可通过长度分层采样缓解偏差。

Milvus𝗟𝗘𝗠𝗨𝗥 𝗶𝘀 𝘁𝗵𝗲 𝗺𝘂𝗹𝘁𝗶-𝘃𝗲𝗰𝘁𝗼𝗿 𝘀𝘁𝗿𝗮𝘁𝗲𝗴𝘆 𝘁𝗵𝗮𝘁 𝗹𝗼𝗼𝗸𝘀 𝗲𝗮𝘀𝗶𝗲𝘀𝘁 𝘁𝗼 𝗮𝗱𝗼𝗽𝘁 — 𝗻𝗼 𝘁𝘂𝗻𝗶𝗻𝗴, 𝗱𝗮𝘁𝗮-𝗱𝗿𝗶𝘃𝗲𝗻, 𝗰𝗼𝗺𝗽𝗿𝗲𝘀𝘀𝗲𝘀 𝘆𝗼𝘂𝗿 𝗺𝘂𝗹𝘁𝗶-𝘃𝗲𝗰𝘁𝗼𝗿𝘀 𝗶𝗻�