#PEFT

共 3 条 · 7 天 0 条 · 30 天 0 条

LoRA 1 Manifold-Constrained Hyper-Connections 1 OLMo-2 1 参数高效微调 1

信息流里打上「PEFT」标签的资讯、产品与论文，按刊登时间排，新的在上。

7月21日

Manifold-Constrained Hyper-Connections：面向参数高效微调的残差路由新方法

这篇论文把残差连接本身做成了PEFT方法，跟LoRA搭配效果更好，如果你在做模型微调可以看看这个新思路。

#Manifold-Constrained Hyper-Connections #LoRA #OLMo-2 #PEFT

arXiv cs.LG@Valentijn Oldenburg 等 7 人原文

6月18日

ARIADNE：推理时动态适配器选择的无关路由框架

这篇论文提出了ARIADNE，一个不用训练就能自动为输入选对适配器的方法，在Llama 3.2上恢复了97%的上界性能，比现有路由方式更灵活。

#ARIADNE #Llama 3.2 #PEFT #推理路由

arXiv cs.AI@Enrico Cassano 等 5 人原文

6月3日

技巧 Agent 与开发者官方一手精选08:51

如何用QLoRA和DPO在Google Colab上微调LFM2

手把手教你微调LFM2，用Colab免费跑

#LFM2 #QLoRA #DPO #Google Colab

官方一手marktechpost@Sana Hassan原文