12:08
官方账号arXiv cs.LG@Jiale Kang, Ziyin Yue, Zheng Zhan, Yangyi Huang, Weiyang Liu
推荐理由：NoRA改进LoRA训练，不增加参数却能加速收敛、提升稳定性，适用于多种训练场景。
NoRA
共 1 条相关 AI 资讯
9月1日
12:08
研究团队提出Normalized Low-Rank Adaptation (NoRA)方法，通过标准化下投影矩阵改进LoRA训练。NoRA在预训练、监督微调和强化学习中均表现优异，加速收敛速度，提升性能和训练稳定性，并缓解灾难性遗忘。该方法无需额外可训练参数或推理时计算，是对LoRA的简单有效增强。