Models10:56
Chinese contentκ-LoRA：条件数决定哪些 LoRA 矩阵值得更新如果觉得 LoRA 微调大模型太费钱，κ-LoRA 只挑条件数大的矩阵来更新，参数量砍半，速度提升 16%，精度不降，值得试试。
#κ-LoRA
1 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "κ-LoRA", newest first.
Jul 27
如果觉得 LoRA 微调大模型太费钱，κ-LoRA 只挑条件数大的矩阵来更新，参数量砍半，速度提升 16%，精度不降，值得试试。