论文11:55
Omega-S：用于LLM微调的功能弹性指数这篇论文提出了Omega-S，一个只需权重矩阵的正则项，能让微调少忘旧知识，Llama-3-8B上保留率从62.9%提到84.1%，开销只增加4%。
#Omega-S
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「Omega-S」标签的资讯、产品与论文，按刊登时间排，新的在上。
8月5日
这篇论文提出了Omega-S，一个只需权重矩阵的正则项，能让微调少忘旧知识，Llama-3-8B上保留率从62.9%提到84.1%，开销只增加4%。