#低秩适配

共 3 条 · 7 天 0 条 · 30 天 0 条

Llama-3.2-3B 1 LoRA 1 SALT 1 vLLM 1

信息流里打上「低秩适配」标签的资讯、产品与论文，按刊登时间排，新的在上。

8月5日

SALT 框架：固定质心按需交换残差，实现高效超低秩 LoRA 服务

LoRA 服务老被显存和 PCIe 卡脖子？SALT 用 r≤2 的残差加固定质心，精度追上高秩，vLLM 吞吐最高多 51%。

#SALT #LoRA #vLLM #Llama-3.2-3B

arXiv cs.LG@Xiang Li 等 4 人原文

6月8日

论文精选72°10:33

LightningLM 0.1V：单节点8卡训练120B稀疏MoE

这篇论文解决了大模型训练资源门槛高的问题——单节点8卡就能训120B模型，做MoE和模型扩展的团队可以直接参考其状态保持原则和TQP策略，省下大量硬件成本。

#稀疏MoE #模型扩展 #可逆循环 #低秩适配

arXiv cs.LG@Rohan Shravan原文

5月21日

论文精选10:22

SMoA：频谱调制适配器实现参数高效微调

做模型微调的开发者如果受限于LoRA的低秩瓶颈，SMoA提供了一种在更少参数下覆盖更广频谱方向的新思路，值得在资源敏感任务中尝试。

#参数高效微调 #LoRA #频谱调制 #低秩适配

arXiv cs.LG@Yongkang Liu 等 10 人原文