AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：低秩适配×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月8日
10:33
10:33arXiv cs.LG@Rohan Shravan
精选72°
该论文报告了在单个8GPU节点上端到端训练千亿参数稀疏混合专家模型的方法。LightningLM 0.1V 是一个基于循环骨干的语言模型家族，从小型稠密种子模型逐步扩展至120B参数、460个路由专家（top-12路由）。通过状态保持扩展策略，每个更大模型从小模型的训练权重生长而来，活跃参数从1.78B单调增长至5.93B。关键创新包括：可逆循环栈使激活内存不随模型增长而增加；状态保持扩展原则确保各阶段扩展不失败；单节点经济策略TQP通过量化基专家权重和训练低秩适配器，将优化器状态从100B+压缩至2.26B参数。模型家族、分词器和训练代码均已开源。
论文稀疏MoE模型扩展可逆循环低秩适配单节点训练
推荐理由：这篇论文解决了大模型训练资源门槛高的问题——单节点8卡就能训120B模型，做MoE和模型扩展的团队可以直接参考其状态保持原则和TQP策略，省下大量硬件成本。
原文
5月21日
10:22
10:22arXiv cs.LG@Yongkang Liu, Xing Li, Mengjie Zhao, Shanru Zhang, Zijing Wang, Qian Li, Shi Feng, Feiliang Ren, Daling Wang, Hinrich Schütze
精选
SMoA（频谱调制适配器）是一种新的参数高效微调方法，旨在解决LoRA在低秩设置下表达能力受限的问题。理论表明，LoRA微调仅能捕获预训练权重矩阵的前r个奇异值，而增大秩虽能提升性能但会增加计算成本。SMoA通过将层划分为多个对齐的频谱块，并在每个对角块内应用Hadamard调制的低秩分支，从而在更小的参数预算下覆盖更广的预训练频谱方向。实验结果显示，在低预算设置下，SMoA在多项任务上的平均性能优于LoRA及其他同类基线方法。该方法为资源受限场景下的模型微调提供了更高效的解决方案。
论文参数高效微调LoRA频谱调制低秩适配SMoA
推荐理由：做模型微调的开发者如果受限于LoRA的低秩瓶颈，SMoA提供了一种在更少参数下覆盖更广频谱方向的新思路，值得在资源敏感任务中尝试。
原文