Embedder(嵌入模型)是将文本、图像等数据映射为向量表示的模型,是语义检索、RAG(检索增强生成)和推荐系统的基础组件。随着大语言模型应用落地,如何为不同语言、设备和场景选择合适的嵌入模型,正成为工程实践中的关键决策点。
Embedder 近期进展
当前焦点与观察点
目前围绕 Embedder 的讨论主要集中在三个方面。其一是选型困境:嵌入模型与 LLM 的搭配并非越强越好,检索质量、延迟和成本之间需要权衡,Stanford AI Lab 近期也提到了这一选择难题(LLM 与嵌入模型选择困境)。其二是部署形态分化:以 740M 参数的端侧模型为代表的本地化路线,与依赖云端大模型的通用路线并行发展,数据隐私和离线可用性是前者的主要驱动力。其三是垂直化与多语言适配:低资源语言的微调方法和专业领域的联合表示学习,正在检验通用嵌入模型的能力边界。
值得关注的观察点是:端侧嵌入模型的检索精度能否逼近云端方案、嵌入模型评测基准能否更好反映真实 RAG 效果,以及多模态嵌入(文本+图像)在实际产品中的落地程度。这些问题将决定嵌入模型在下一代搜索与生成应用中的位置。