Papers11:55
Chinese contentOmega-S：用于LLM微调的功能弹性指数这篇论文提出了Omega-S，一个只需权重矩阵的正则项，能让微调少忘旧知识，Llama-3-8B上保留率从62.9%提到84.1%，开销只增加4%。
#Omega-S
1 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "Omega-S", newest first.
Aug 5
这篇论文提出了Omega-S，一个只需权重矩阵的正则项，能让微调少忘旧知识，Llama-3-8B上保留率从62.9%提到84.1%，开销只增加4%。