模型合并相关 AI 资讯 · AI 热点

7月20日

09:18

09:18

官方账号arXiv cs.AI@S. Aaron McClendon

研究首次将模型合并与联合多任务训练在强化学习场景下直接对比。使用Qwen3-8B专才在AppWorld智能体基准上通过LOOP训练难度1和难度2任务，合并方法（TIES、RAM+）与联合训练模型相比，任务目标完成率无统计差异。任务向量余弦相似度仅0.06-0.10，近正交但支撑集重叠约65%，导致支持&符号合并退化为近均匀平均。所有代码和统计数据已开源。

论文 Qwen3-8B AppWorld TIES

推荐理由：这篇论文用Qwen3-8B做了AppWorld上的合并vs联合训练对比，发现合并效果不输联合训练，而且解释了为什么不同合并方法结果差不多。

6月23日

12:49

12:49

官方账号arXiv cs.LG@Tianyi Li, Zhiqiang Shen

现有线性模式连通性方法通常只从一个模型端点优化插值路径，难以扩展到大型Transformer。我们提出新框架，应用功能保持的权重变换对齐等价解，并让两个模型双向学习向共享线性插值路径的变换。双向优化大幅减少插值障碍，在中等参数规模语言模型上实现了WikiText近零损失屏障（首次展示该规模下近无屏障线性连通）。视觉领域ViT-L在插值路径上保持ImageNet top-1准确率超69%，十亿参数LLM只表现出小损失屏障。这些结果表明解决参数对称性能使大预训练Transformer通过简单线性路径连通和合并。

AI模型 Linear Mode Connectivity Transformer 模型合并

推荐理由：新方法让十亿参数Transformer通过双向学习实现线性合并，损失屏障极低，视觉和语言模型都验证有效。

10:46

10:46

官方账号arXiv cs.LG@Jungyong Son, Jinwook Jung, Sungyong Baik

SiM通过奇异值分解（SVD）为每个任务构建低秩流形，利用测试输入特征在任务流形上的投影残差进行无训练路由。仅需每个任务32个样本的支撑集即可离线预计算流形，合并过程无需额外数据。在计算机视觉和自然语言处理基准上，任务未知推理场景下SiM显著提升合并模型性能，持续缩小与独立专家模型的差距。该方法无需存储完整专家参数，兼容子空间/掩码合并。

论文 SiM 多任务模型合并无训练路由

推荐理由：这篇论文提出了SiM方法，不用额外训练就能动态路由多任务模型，只用少量样本预计算，效果逼近独立专家。