精选理由
这篇论文提出了SiM方法，不用额外训练就能动态路由多任务模型，只用少量样本预计算，效果逼近独立专家。
SiM通过奇异值分解（SVD）为每个任务构建低秩流形，利用测试输入特征在任务流形上的投影残差进行无训练路由。仅需每个任务32个样本的支撑集即可离线预计算流形，合并过程无需额外数据。在计算机视觉和自然语言处理基准上，任务未知推理场景下SiM显著提升合并模型性能，持续缩小与独立专家模型的差距。该方法无需存储完整专家参数，兼容子空间/掩码合并。
AI 翻译 · 中文
SiM通过奇异值分解（SVD）为每个任务构建低秩流形，利用测试输入特征在任务流形上的投影残差进行无训练路由。仅需每个任务32个样本的支撑集即可离线预计算流形，合并过程无需额外数据。在计算机视觉和自然语言处理基准上，任务未知推理场景下SiM显著提升合并模型性能，持续缩小与独立专家模型的差距。该方法无需存储完整专家参数，兼容子空间/掩码合并。
Ever since the advent of foundation models and the pre-training-finetuning paradigm, there have been numerous efforts to merge multiple task-specific experts into a single multi-task model. Prior work largely focuses on …