UEmbed:统一稀疏与稠密的多模态嵌入模型
UEmbed是首个解码器-only的多模态嵌入模型,能在一次前向传播中同时生成稀疏词级和稠密向量表示。该模型通过在输入后追加N个可学习特殊token,并将词表划分为N个不相交子集,实现两类嵌入的统一输出。UEmbed公开了2B、4B、9B三个规模版本,其中UEmbed-9B在MMEB-v2基准上达到稠密71.8、稀疏71.0的成绩,优于同训练数据规模的多模态嵌入模型RzenEmbed。在BEIR基准上,UEmbed与强稀疏和稠密基线保持竞争力,并验证了在效率与智能体应用上的实用性。