11:04
官方账号arXiv cs.LG@Xinyi Xu, Bingnan Xiao, Shuang Qin, Gang Feng, Tony Q. S. Quek
推荐理由：联邦学习调LoRA的朋友看这篇，它告诉你A和B该共享哪个，还给了个训练前就能算的指标，省得瞎试。
FedAS-LoRA
共 1 条相关 AI 资讯
8月11日
11:04
联邦学习中的LoRA微调通常将更新矩阵分解为A和B两个因子。本文通过最小二乘代理模型分析发现，共享A保留本地B（Share-A/Local-B）要求客户端更新矩阵共享输入侧秩r空间，而共享B保留本地A（Share-B/Local-A）则要求共享输出侧秩r空间，两种策略投影残差不同。据此提出FedAS-LoRA，在训练前用Rank-Aware Shared-Subspace Sufficiency（RSS）指标评估共享子空间充分性，自动选择共享侧。实验覆盖不同任务、数据分布、LoRA秩和参与率设置，验证了RSS有效性和FedAS-LoRA的优越性能。