10:46arXiv cs.LG@Jungyong Son, Jinwook Jung, Sungyong BaikSiM通过奇异值分解(SVD)为每个任务构建低秩流形,利用测试输入特征在任务流形上的投影残差进行无训练路由。仅需每个任务32个样本的支撑集即可离线预计算流形,合并过程无需额外数据。在计算机视觉和自然语言处理基准上,任务未知推理场景下SiM显著提升合并模型性能,持续缩小与独立专家模型的差距。该方法无需存储完整专家参数,兼容子空间/掩码合并。论文SiM多任务模型合并无训练路由模型合并SVD推荐理由:这篇论文提出了SiM方法,不用额外训练就能动态路由多任务模型,只用少量样本预计算,效果逼近独立专家。原文