12:13
官方账号arXiv cs.LG@Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang
推荐理由：ZO-Act用激活信息锁定关键子空间，让零阶微调更稳定，在Llama-3和OPT-13B上都比旧方法强，适合显存受限的场景。
OPT-13B
共 1 条相关 AI 资讯
7月2日
12:13
ZO-Act提出一种激活感知的零阶微调方法，通过一次性计算输入激活基，将扰动限制在固定低秩子空间中，从而将有效扰动维度降低至系数矩阵大小。该方法在Llama-3-8B、OPT-13B和INT4 Llama-3-8B上实验，在语言理解、问答和常识推理任务中一致超越现有零阶微调基线。分析表明，ZO-Act通过低维系数扰动减少了方差依赖项和有限差分误差，并利用LLM激活和梯度的低秩结构控制子空间近似偏差。