lora·general

LoRA

别名
首次出现
2026-05-22
最近出现
2026-07-28
累计提及
182
§ 01综述

LoRA 近期进展

LoRA(Low-Rank Adaptation)是一种高效的模型微调技术,通过在预训练模型中添加低秩矩阵来调整模型参数,以适应特定任务。近期,LoRA在多个领域取得了显著进展。

LoRA 近期进展

  • 用NVIDIA NeMo AutoModel在Colab单GPU微调Qwen3的LoRA教程:NVIDIA NeMo AutoModel支持使用LoRA在Colab单GPU上微调Qwen3模型,提高了模型在特定任务上的性能。
  • NeMo AutoModel 支持 Hugging Face Diffusers,扩展图像视频微调:NVIDIA的NeMo AutoModel现在支持Hugging Face Diffusers,扩展了图像和视频微调的能力,进一步推动了LoRA在视觉领域的应用。
  • Google 工程师演示 21 分钟微调 Gemma 270M 手机端准确率从 46% 到 90%:Google工程师展示了如何使用LoRA在Gemma 270M手机端进行微调,将准确率从46%提升至90%,证明了LoRA在移动设备上的可行性。
  • thinkymachines开源Inkling:975B总参/41B激活MoE,1M上下文多模态:thinkymachines开源了Inkling,一个包含975B总参数和41B激活MoE的模型,支持1M上下文的多模态处理,展示了LoRA在大型模型中的应用潜力。
  • NVIDIA 用 LoRA 微调 Cosmos 3 Nano,交通信号识别准确率从 54% 升至 93%:NVIDIA使用LoRA微调Cosmos 3 Nano模型,使交通信号识别准确率从54%提升至93%,进一步证明了LoRA在计算机视觉领域的有效性。
  • 当前焦点与观察点

    当前,LoRA的研究和应用主要集中在以下几个方面:

  • 如何在保持模型性能的同时,降低模型的计算复杂度和内存占用。
  • 如何将LoRA应用于更多类型的模型和任务,如自然语言处理、计算机视觉等。
  • 如何提高LoRA的泛化能力,使其能够适应更多不同的数据集和任务。
  • § 02相关报道10 条在档
    1. 01
      Ramp Labs 开源 PorTAL 框架,支持跨模型 LoRA 适配
      Jerry Liu
    2. 02
      Kimi K3 在 Fireworks AI 上线,支持推理与训练
      elvis
    3. 03
      LoRA微调中的入侵阈值:一种谱分布定律
      arXiv cs.LG
    4. 04
      κ-LoRA:条件数决定哪些 LoRA 矩阵值得更新
      arXiv cs.LG
    5. 05
      人工Epanorthosis:大语言模型为何过度使用古典修辞格及缓解方法
      arXiv cs.AI
    6. 06
      RL训练使Nemotron 3 Nano数学准确率从22%升至91%,花费不到5美元
      NVIDIA AI
    7. 07
      Macaron-V1-Venti 发布:开源 MoL Harness 实现多 LoRA 路由
      vLLM
    8. 08
      PortLLM高维空间近正交性解释时间可移植性
      arXiv cs.LG
    9. 09
      Macaron-V1: 混合LoRA后训练使GLM 5.2性能提升,64 GPU训练748B模型
      Pandaily
    10. 10
      MiniMax M3 模型在 Fireworks 平台开放训练
      Fireworks AI
    § 03邻近话题

    本页综述由 AITOP 基于公开报道整理。原报道版权归各自来源所有。

    /topic/LoRA