10:18arXiv cs.AI@Ziye Chen, Hongbin Lin, Chenyu Zhang, Xiangda Yan, Yongjie Yang, Yao Shu精选零阶优化(ZO)无需存储反向传播激活即可微调大模型,而LoRA提供紧凑的可训练适配器。但两者结合存在秩悖论:增加LoRA秩会提升适配器容量,但标准两点ZO要么扰动依赖秩的坐标数,要么在原子更新下使有限差分信号不可观测。本文证明瓶颈是测量拓扑问题,而非需要外部子空间。LoRA已分解为匹配的秩1原子,每个原子是一个完整因子坐标块。AR1-ZO通过交替秩1原子查询和拓扑感知缩放,恢复秩不变的有效信号,无需辅助基、激活钩子、曲率估计或额外前向查询。实验表明,在标准两前向查询预算下,AR1-ZO使高秩LoRA在匹配预算的ZO方法中有效。论文零阶优化LoRA大模型微调拓扑感知秩1查询推荐理由:解决了零阶优化与高秩LoRA结合时的信号坍缩问题,做大模型微调且受限于显存的开发者可以直接用AR1-ZO方法提升效果。原文