11:55
官方账号arXiv cs.LG@Alberto Acedo
推荐理由：这篇论文提出了Omega-S，一个只需权重矩阵的正则项，能让微调少忘旧知识，Llama-3-8B上保留率从62.9%提到84.1%，开销只增加4%。
Llama-3-8B
共 1 条相关 AI 资讯
8月5日
11:55
Omega-S是一个即插即用的惩罚项，仅从权重矩阵计算，无需旧任务数据或Fisher矩阵。在Llama-3-8B上使用LoRA从代码微调到散文的实验中，Omega-S在10个种子中的9个上比无正则化保留更多原始能力。保留率从0.173提升到0.238（pass@1），即从62.9%提升到84.1%，且训练开销增加不到4%。实验表明，其实际生效机制是对节点度方差的正则化，而非名称暗示的拓扑目标。论文还量化了相同配置下保留率的标准差为0.104，并提供了全部代码和逐种子结果。