11:08arXiv cs.LG@Minh An Pham, Anton Segeler, Thomas Wiegand, Wojciech Samek, Sebastian Lapuschkin, Patrick Kahardipraja, Reduan Achtibat函数向量(FVs)是在上下文学习中提取的任务表示,可用于引导大型语言模型(LLMs)。本研究探讨了不同FV定义对指令的影响,主要关注注意力头选择和引导两个自由度。在头选择上,使用基于梯度的归因方法(如层相关性传播LRP)显著提高了效率和准确性。在FV引导方面,分布式应用比简单聚合获得了更高的准确性。代码已公开。论文函数向量上下文学习LLM引导注意力头选择层相关性传播推荐理由:这项研究为LLM任务表示提供了更高效、更准确的方法,做模型微调或上下文学习的开发者可以直接参考其开源代码来优化自己的应用。原文
19:12arXiv cs.LG@Ariel Gera, Shir Ashury-Tahan, Gal Bloch, Ohad Eytan, Assaf Toledo精选IBM研究团队提出一种LLM引导的查询精调范式,通过生成式LLM对少量文档的反馈,实时优化用户查询的嵌入表示,从而扩展嵌入模型在零样本搜索和分类任务中的适用性。实验表明,该方法在文献搜索、意图检测、关键点匹配等任务上带来最高25%的相对提升,且能改善排序质量和类别分离度。该方案让嵌入模型在无法大规模使用LLM的场景下成为有竞争力的替代方案,代码已开源。论文零样本搜索嵌入模型LLM引导查询精调IBM推荐理由:零样本搜索和分类是信息检索的硬骨头,IBM用LLM引导查询精调把嵌入模型性能拉高25%,做搜索/分类的团队可以直接拿开源代码试试,成本比全量LLM推理低得多。原文