Lipschitz Hessian 是指目标函数的二阶导数（Hessian 矩阵）满足 Lipschitz 连续条件，即 Hessian 随输入变化的速率有界。这一性质是三阶光滑性假设的核心，广泛用于收敛性分析中刻画梯度和曲率的稳定程度，是二阶优化、SGD 噪声分析和加速方法理论的常见前提。近年来的研究趋势是放松对 Lipschitz Hessian 的依赖，或在其成立的场景中获得更精确的收敛刻画。
Lipschitz Hessian 相关的近期研究进展
当前焦点与观察点
围绕 Lipschitz Hessian 的讨论主要有两条线。其一是假设是否必要：不少工作尝试用 Hessian 谱范数上的局部条件、梯度 Lipschitz 加概率化论证来替代全局 Lipschitz Hessian，使理论更贴近深度学习的非凸场景。其二是假设如何被利用：在假设成立时，研究者追求更尖锐的收敛速率、更小的轨迹方差界，以及像贝尔曼平滑那样主动构造二阶光滑结构的做法。值得关注的观察点包括：零阶和无梯度方法能否在更弱光滑条件下保持类似的保证，以及高斯近似类结果对 Hessian 光滑性的实际依赖程度是否可以量化。对从业者而言，Lipschitz Hessian 更多是理论分析工具而非可直接检验的工程条件，评估算法时仍应以经验表现为准。