#方差归约

做 GAN、对抗训练这类 minimax 优化的人应该看看这篇。它用正交化更新加自适应步长，解决了 SGDA 系方法对步长调参极敏感的问题，且 AdaSGDA-VR 的 O(T^-1/3) 收敛率比常见基线更快。