10:56
官方账号arXiv cs.LG@Jianghui Wang, Silong Yong, Francesco Orabona, Marco Canini, Katia P. Sycara, Yaqi Xie
推荐理由：如果觉得 LoRA 微调大模型太费钱，κ-LoRA 只挑条件数大的矩阵来更新，参数量砍半，速度提升 16%，精度不降，值得试试。
条件数
共 1 条相关 AI 资讯
7月27日
10:56
新方法 κ-LoRA 发现 LoRA 微调中并非所有低秩矩阵都同等重要：条件数（最大与最小奇异值之比）小的矩阵对不同方向已平衡，贡献甚微；条件数大的矩阵包含未充分开发的方向，驱动大部分性能提升。基于此，κ-LoRA 只更新条件数最大的前 50% 权重矩阵，使可训练参数量减半，微调时间平均降低 16.2%，内存开销减少 4.5%，且精度与标准 LoRA 持平。实验表明，被选矩阵的条件数在训练中持续下降，说明方法有效性来自定向谱平衡而非单纯参数选择。