AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：嵌入模型×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
10:07
10:07arXiv cs.LG@Paul He, Shiva Kasiviswanathan, Dominik Janzing
该研究提出了一种基于信息论的多轮对话语义进展度量方法，通过计算对话中问题相关且非冗余信息的累积量来评估对话质量。核心指标使用高斯模型在嵌入空间中近似不确定性减少，具有单调性、可加分解和冗余证据递减等理论性质。实验表明，该方法在MT-Bench、Chatbot Arena和UltraFeedback上与人类判断高度一致，甚至优于部分基于LLM的评判方法。该指标无需自回归推理，仅需轻量级嵌入模型即可在CPU上运行，显著降低了评估成本。
论文多轮对话语义进展信息增益评估指标嵌入模型
推荐理由：做对话系统评估的团队终于有了一个可复现、低成本的替代方案——无需调用大模型就能衡量对话的语义进展，建议做客服或问答系统的开发者试试这个指标。
原文
6月1日
10:25
10:25arXiv cs.LG@Arnas Uselis, Darina Koishigarina, Seong Joon Oh
精选
人类能轻松将颜色与形状绑定（如“红色圆形”），但 CLIP 等视觉-语言嵌入模型在多物体场景中无法正确绑定概念，表现为“词袋”行为。研究发现，CLIP 的场景嵌入可加性分解为物体表征，但绑定函数复杂度高，导致图像与文本编码器无法学习共享的绑定机制，难以泛化到未见过的概念组合。通过从头训练的受控 Transformer 模型，作者发现当数据覆盖足够时，模型能学会低复杂度的绑定函数（涉及概念间的乘法交互），实现系统性泛化。该工作揭示了嵌入模型在概念绑定上的根本限制与突破条件，代码已开源。
论文嵌入模型概念绑定CLIP泛化Transformer
推荐理由：做多模态嵌入或视觉-语言模型研究的开发者，这篇论文点出了 CLIP 类模型在概念绑定上的核心瓶颈，并给出了可复现的解决方案，值得深入阅读。
原文
5月13日
19:12
19:12arXiv cs.LG@Ariel Gera, Shir Ashury-Tahan, Gal Bloch, Ohad Eytan, Assaf Toledo
精选
IBM研究团队提出一种LLM引导的查询精调范式，通过生成式LLM对少量文档的反馈，实时优化用户查询的嵌入表示，从而扩展嵌入模型在零样本搜索和分类任务中的适用性。实验表明，该方法在文献搜索、意图检测、关键点匹配等任务上带来最高25%的相对提升，且能改善排序质量和类别分离度。该方案让嵌入模型在无法大规模使用LLM的场景下成为有竞争力的替代方案，代码已开源。
论文零样本搜索嵌入模型LLM引导查询精调IBM
推荐理由：零样本搜索和分类是信息检索的硬骨头，IBM用LLM引导查询精调把嵌入模型性能拉高25%，做搜索/分类的团队可以直接拿开源代码试试，成本比全量LLM推理低得多。
原文