11:55arXiv cs.LG@Yangyi Huang, Ruotian Peng, Zeju Qiu, Jiale Kang, Yandong Wen, Bernhard Schölkopf, Weiyang Liu论文提出 PEFT-Arena 基准,从稳定性-可塑性困境(目标任务适应 vs 预训练能力保持)评估参数高效微调方法。研究发现,在同等参数预算下,正交微调在帕累托前沿上表现最佳。通过权重空间谱分析和激活空间表示保持分析,解释了不同方法遗忘预训练能力的原因。最终检查点往往偏离最优平衡点,论文展示了路径回退的后处理改进案例。论文参数高效微调稳定性-可塑性正交微调预训练能力保持PEFT-Arena推荐理由:做 LLM 微调的团队终于有了评估预训练能力保持的基准——PEFT-Arena 帮你选方法时不再只看下游指标,建议做模型适配的开发者点开看看。原文