11:49
官方账号arXiv cs.LG@Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven
推荐理由：这篇论文把残差连接本身做成了PEFT方法，跟LoRA搭配效果更好，如果你在做模型微调可以看看这个新思路。
OLMo-2
共 1 条相关 AI 资讯
7月21日
11:49
该论文提出流形约束超连接（mHC），将残差连接泛化作为新型PEFT方法，在冻结的OLMo-2骨干上学习残差路由模块。实验发现微调时将残差混合矩阵固定为单位阵通常能提升性能。作为独立PEFT方法时mHC未持续优于LoRA，但在匹配可训练参数预算下，mHC+LoRA组合在1B和7B规模上改善了语言建模损失并带来任务相关性基准增益。