7月28日
09:37
09:37官方账号arXiv cs.LG@Nour Jamoussi, Ikram Dridi, Giuseppe Serra, Marios Kountouris
本文提出DP-IVON-Gradsq,一种基于改进变分在线牛顿(IVON)优化器的差分隐私训练方法。它通过噪声校正的平方梯度估计器从私有化梯度构建曲率估计,减少后验采样噪声与隐私噪声的交互,同时保持IVON类似Adam的计算效率。在CIFAR-10上与DP-SGD和DP-Adam对比,在弱到中等隐私预算(ε较大)下表现具有竞争力,但在强隐私约束下性能下降。代码已开源。
推荐理由:想在不牺牲太多性能的前提下给贝叶斯神经网络加差分隐私?这篇论文的DP-IVON-Gradsq方法在CIFAR-10上中低隐私保护时表现不错,兼容Adam效率,值得一看。