Event ·Official first-hand

CA-ZODPO:零阶偏好优化方法将 GPU 峰值显存降低约 59%

一篇 arXiv 论文提出 CA-ZODPO(Contrastive Activation-guided Zeroth-Order Direct Preference Optimisation),针对 DPO 依赖反向传播导致激活显存开销大的问题,改用零阶优化并构建低秩搜索子空间。该子空间由每个偏好对中 chosen 与 rejected 响应的激活差异构造,扰动被限制在该子空间内,同时在低秩坐标上保留动量,从而避免各向同性扰动带来的噪声更新。在 Qwen2.5-1.5B 与 Anthropic HH-RLHF 数据集上的实验显示,CA-ZODPO 超过常见 ZO 基线,成对偏好评估中与一阶 DPO 表现相当,序列长度 2048 时峰值 GPU 显存降低约 59%,且保持 ZO 训练随序列长度扩展的特性。 技术上的核心是用激活差异而非随机方向来引导扰动:偏好目标的梯度天然来自 chosen 与 rejected 的差值,把搜索范围压到这个差异对应的低秩子空间,等价于先验地过滤掉与目标无关的噪声方向。这一改动让零阶方法在无需反向传播的前提下逼近一阶方法的对齐质量。 对显存受限、无法做全参数反向传播的团队来说,这条路线意味着在单卡或低显存环境下也能做偏好对齐训练,代价是收敛速度可能仍受零阶采样效率影响,论文未给出训练时长对比数据。

Current read

做 LLM 对齐但显存不够的朋友可以看看这篇。它把扰动限制在 chosen/rejected 激活差异的低秩子空间里,在 Qwen2.5-1.5B 上跑 HH-RLHF,效果接近 DPO,峰值显存省 59%。想低成本做偏好训练的团队值得复现试试。

11 sources34° AI heatLast updated 2026/11/16 06:55:27

Evidence

11 sources
Primary sourcearXiv: Anthropic
View source
Related source 1rohanpaul_ai
View source
Related source 2向阳乔木
View source
Related source 3TestingCatalog
View source
Related source 5OpenAI Blog
View source
Related source 6shao__meng
View source
Related source 8PolymarketMoney
View source
Related source 9Greg Brockman
View source
Related source 10The Rundown AI
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

CA-ZODPO:零阶偏好优化方法将 GPU 峰值显存降低约 59% · 事件专题 | AITOP