Chinese content带梯度共享边界的 Adam 优化器状态安全压缩方法
训练时优化器状态比权重还占显存，这篇论文给出一种带数学保证的压缩法，能把 payload 压到 FP32 的三成左右，恢复更新也不跑偏。
#OPT-125M
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "OPT-125M", newest first.
Nov 3
训练时优化器状态比权重还占显存，这篇论文给出一种带数学保证的压缩法，能把 payload 压到 FP32 的三成左右，恢复更新也不跑偏。