LoRA

general · First seen 2026-05-22 · Last seen 2026-10-28 · 419 mentions

Overview

LoRA(Low-Rank Adaptation,低秩适配)是一种参数高效微调技术,通过在冻结的模型权重旁注入少量低秩矩阵来训练个性化能力,大幅降低算力与存储成本。它最初用于大语言模型的低成本定制,如今已扩展到多模态、端侧设备与智能体系统,成为开源社区和应用厂商最常用的个性化手段之一。

LoRA 近期进展

  • BIGAI 孵化公司 Tongyan Lingzhi 押注个人 LoRA 与自我改进模型:据 Pandaily 报道,BIGAI 孵化的 Tongyan Lingzhi 把“个人 LoRA”作为核心产品方向,希望每个用户拥有随使用持续自我改进的专属模型,这是国内团队把 LoRA 从开发工具推向消费级产品的一个信号。
  • 在手机 NPU 上跑 LoRA 微调:不传数据也能个性化训练:该研究探索在手机 NPU 上直接完成 LoRA 微调,用户数据不出设备即可实现个性化,兼顾隐私与低功耗,代表了端侧个性化训练的可行性路径。
  • WeAct:让智能体通过权重切换获得能力:这项工作把 LoRA 式的权重模块当作智能体的“技能包”,通过在不同适配器之间切换来动态赋予智能体新能力,反映了 LoRA 正从微调方法演变为能力组织方式。
  • BrainLoRA 用参数高效微调刷新脑编码模型性能:BrainLoRA 将参数高效微调引入脑编码模型任务并取得性能提升,说明这类技术的适用边界仍在向科学建模等新领域扩展。
  • Together 推出 post-training 服务,自定义训练全流程:云厂商 Together AI 推出覆盖训练全流程的 post-training 服务,LoRA 微调通常是这类托管方案中的入门选项,反映了商业化训练服务正在把该技术标准化。
  • 当前焦点与观察点

    LoRA 的讨论目前集中在三个方向。其一是产品化:像 Tongyan Lingzhi 这样的团队试图让普通用户而非开发者拥有自己的适配器,个人 AI 的所有权与数据归属问题随之而来。其二是端侧化:在手机 NPU 等本地硬件上完成微调,可以把个性化与隐私保护合并解决,但受限于内存与算力,能微调的模型规模仍然有限。其三是与智能体架构的融合:以权重切换携带能力、以适配器为记忆载体的思路,正在改变“模型—技能”的组织方式。

    争议方面,支持者认为低秩适配以极小开销换取高度定制化,是开源生态繁荣的关键;批评者则指出其在复杂推理任务上与全参数微调仍有差距,且大量低成本生成的 LoRA 权重也带来了版权与滥用隐患。随着 Together 等厂商把训练服务托管化、腾讯混元等模型方持续开源可微调的基座,LoRA 大概率会继续作为个性化 AI 的默认底层组件存在,值得观察的是端侧微调何时真正达到消费级可用。

    Coverage

    10 on file