Descent（下降法）是机器学习与优化领域中一类最基本的迭代算法思想，核心是通过沿着目标函数下降方向逐步更新参数来寻找最优解，其代表形式包括梯度下降、随机梯度下降（SGD）及各类自适应变体，至今仍是大模型训练的算法基础。
Descent 方法的近期理论进展
近期研究围绕经典下降法的边界条件与收敛性能展开，出现了多项值得关注的工作：
Descent 在应用场景中的延伸
除了核心理论，下降类算法正被改造以适配更具体的训练环境。Matrix AdaGrad: Row-wise and Column-wise Adaptive Subgradient Methods 将 AdaGrad 的自适应思想推广到按行、按列的矩阵形式，适合嵌入层等结构化参数的更新；在隐私训练方面，Is Weight Tying Still Beneficial for Decoder-Only LLMs in Private Settings Under DP-SGD? 重新审视了差分隐私版本的 SGD（DP-SGD）下解码器大模型权重绑定的收益问题。
强化学习方向也在检验下降法的适用边界：Does Policy Mirror Descent Converge in Policy with Non-Decomposable Mirror Maps? A Counterexample 给出反例，说明镜像下降在非可分解镜像映射下可能不收敛；Bellman Policy Optimization 则探索了基于 Bellman 函数的策略优化路径。
当前焦点与观察点
当前关于下降法的讨论集中在三个层面：一是收敛速率的极限刻画，如白银比速率与最优加速之间的关系；二是算法在噪声、离群数据和隐私约束等非理想条件下的稳健性；三是经典假设（如可分解镜像映射）失效时的理论缺口。整体来看，这一方向呈现"基础理论精化 + 场景化改造"并行的趋势，工程实践中使用的仍以 SGD 及其自适应变体为主，新方法多停留在理论与特定任务验证阶段，能否进入主流大模型训练流程仍有待观察。