LoRA Low-Rank Adaptation
LoRA(低秩适配)是冻结原模型权重、只训练少量低秩增量矩阵的参数高效微调方法,几张消费级显卡即可微调大模型。
训练产物只有几十 MB 的适配器文件,可按需加载与叠加,也便于分享。QLoRA 进一步把基座量化到 4bit 训练,单卡微调 65B 成为可能;是开源社区定制模型的事实标准。
相关词条
LoRA(低秩适配)是冻结原模型权重、只训练少量低秩增量矩阵的参数高效微调方法,几张消费级显卡即可微调大模型。
训练产物只有几十 MB 的适配器文件,可按需加载与叠加,也便于分享。QLoRA 进一步把基座量化到 4bit 训练,单卡微调 65B 成为可能;是开源社区定制模型的事实标准。