09:22
官方账号arXiv cs.LG@Jiarui Wang, Xiang Shi, Jiaqi Cao, Rubin Wei, Xiquan Wang, Hao Sun, Jingzhi Wang, Zhiqi Yang, Qipeng Guo, Bowen Zhou, Zhouhan Lin
推荐理由：你想微调模型干专业活又怕它变傻？MemSFT加个记忆模块，领域知识涨了，通用能力不掉，比全参数微调靠谱。
对齐惩罚
共 1 条相关 AI 资讯
7月29日
09:22
MemSFT提出一种可插拔的参数化内存模块，用于在不更新骨干网络参数的情况下注入领域知识。该内存通过模仿非参数检索器在领域数据上的行为来习得知识，并可跨不同规模的LLM复用。在生成时，学习到的路由器动态融合内存和骨干网络的输出分布。在生物、地理、法律三个领域，使用Qwen3-8B到Qwen3-235B-A22B的评估显示，MemSFT显著提升领域性能且通用性能几乎无下降，而全参数微调则遭受严重的通用性能遗忘。结果表明，该方法能在参数级别分离通用能力与领域知识。