DP-SGD（差分隐私随机梯度下降）是一种在训练深度学习模型时加入梯度裁剪与噪声扰动、使模型满足差分隐私保证的优化算法，由 Abadi 等人提出后逐渐成为隐私保护机器学习的事实标准方法。它在保护训练数据个体信息的同时，通常带来精度下降和计算开销增加，因此围绕效率与隐私-效用权衡的研究持续活跃。
DP-SGD 的近期研究进展
近期工作多围绕 DP-SGD 在实际使用中的工程痛点展开。其中一项研究提出用虚拟点构造隐私化的批次大小，使算法在批次被截断的情况下仍能保持严格的隐私保证，缓解了实际训练中样本不齐或动态截断破坏隐私分析的难题（用虚拟点隐私化批次大小，DP-SGD 在截断批次下仍保隐私保证）。
在替代优化方向，有研究将平方梯度思想引入变分在线牛顿法，提出 DP-IVON-Gradsq，尝试在差分隐私约束下改善二阶类方法的训练效果（DP-IVON-Gradsq：差分隐私的平方梯度改进变分在线牛顿法）。另有工作从噪声机制本身入手，提出 Dithered Gaussian 机制，用更高效的随机性实现差分隐私，为 DP-SGD 中的加噪步骤提供了潜在的低成本替代（Dithered Gaussian Mechanism：一种高效随机性的差分隐私方法）。
隐私预算的管理同样是热点。PB-AMD 算法研究了差分隐私预算的最优分配问题，如何在多轮训练或多个任务间分配有限的隐私预算，直接决定 DP-SGD 训练的最终效用（PB-AMD 算法提出差分隐私预算最优分配方案）。与之配套，隐私审计方法也在演进，近期一项工作利用 multiscale FFT 加速随机分配采样的差分隐私审计，使验证模型是否真正达到声称的隐私水平更加可行（multiscale FFT 加速随机分配采样的差分隐私审计）。
当前焦点与观察点
当前围绕 DP-SGD 的讨论集中在三个方向：一是降低计算开销，主要是避免对每个样本单独计算梯度的低效做法；二是扩展适用场景，如联邦学习中的隐私保护——SecureDrive-FL 即将差分隐私与梯度感知的选择性同态加密结合，用于联邦驾驶监控任务（SecureDrive-FL: Joint Differential Privacy and Gradient-Aware Selective Homomorphic Encryption for Federated Driver Monitoring）；三是大模型场景下的应用，包括解码器架构语言模型在隐私设置下的权重绑定研究（解码器LLM在隐私设置下权重绑定研究）。
值得观察的是，DP-SGD 的理论保证与实际隐私泄漏之间的差距正受到更多审视，隐私审计工具的成熟度可能成为衡量其可信度的关键；同时，随着大语言模型对训练数据隐私的要求提高，DP-SGD 及其变体能否在可接受的精度损失内规模化落地，仍是该领域最重要的开放问题。