#CoPre-MoE

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "CoPre-MoE", newest first.
Nov 16
Chinese contentCoPre-MoE:面向多模态持续指令微调的专家合并与保留方法

多模态模型连续学新任务,传统 MoE 会专家越堆越多。这篇把重复专家合并、把任务专家拆分压缩,还用冻结检索键防遗忘。做持续学习或多模态微调的工程师和研究者都该看看这套共享-私有专家池设计。

arXiv cs.LG@Tao Hu et al. (3)Source