AITOP

PEFT

共 3 条相关 AI 资讯
7月21日
11:49
11:49官方账号arXiv cs.LG@Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven
该论文提出流形约束超连接（mHC），将残差连接泛化作为新型PEFT方法，在冻结的OLMo-2骨干上学习残差路由模块。实验发现微调时将残差混合矩阵固定为单位阵通常能提升性能。作为独立PEFT方法时mHC未持续优于LoRA，但在匹配可训练参数预算下，mHC+LoRA组合在1B和7B规模上改善了语言建模损失并带来任务相关性基准增益。
论文Manifold-Constrained Hyper-ConnectionsLoRAOLMo-2
推荐理由：这篇论文把残差连接本身做成了PEFT方法，跟LoRA搭配效果更好，如果你在做模型微调可以看看这个新思路。
原文
6月18日
09:48
09:48官方账号arXiv cs.AI@Enrico Cassano, Michał Brzozowski, Zuzanna Dubanowska, Paolo Mandica, Neo Christopher Chung
ARIADNE是一个无需训练、与适配器无关的动态适配器选择框架。它通过计算每个适配器训练集嵌入的质心，在推理时根据无标签输入与质心的距离选择适配器。在Llama 3.2 1B Instruct上对23个NLP任务测试，恢复了97.44%的上界性能。扩展到44个任务时，平均选择准确率达到89.7%。无需访问适配器内部参数或额外训练。
论文ARIADNELlama 3.2PEFT
推荐理由：这篇论文提出了ARIADNE，一个不用训练就能自动为输入选对适配器的方法，在Llama 3.2上恢复了97%的上界性能，比现有路由方式更灵活。
原文
6月3日
08:51