10:15arXiv cs.LG@Shuang Li, Zhihui Zhu, Qiuwei Li该论文分析了Bregman ADMM在非凸线性约束问题上的收敛性,采用两侧相对光滑性假设替代标准Lipschitz梯度条件。该方法适用于矩阵和张量模型中的多项式目标,全局Lipschitz梯度常数可能不存在。论文证明,在不变开状态空间域上,Bregman ADMM的一步迭代定义了光滑原始-对偶不动点映射,其严格鞍点KKT点是不稳定不动点,因此从随机初始化出发以概率零收敛到严格鞍点。结合已有的一阶收敛结果,这给出了极限KKT点几乎必然二阶平稳性。数值实验在分布式矩阵分解和对称张量分解上验证了理论。论文Bregman ADMMKKT优化算法非凸优化分布式优化推荐理由:这篇论文证明了Bregman ADMM在非凸非Lipschitz优化中几乎必然收敛到二阶KKT点,解决了传统方法无法处理多项式目标的问题,对矩阵分解等应用有实际指导意义。原文
10:09arXiv cs.LG@Daniel Berg Thomsen, Adrien Taylor, Aymeric Dieuleveut该论文针对分布式学习中通信瓶颈问题,对两种主流误差反馈算法(EF和EF21)进行了紧致收敛性分析。通过识别最优步长选择和构建最优Lyapunov函数,作者证明了这些算法在任意数量智能体下的收敛保证,并恢复了单智能体场景下已知的最佳结果。这项研究为理解误差反馈机制在分布式优化中的性能提供了理论基础,有助于设计更高效的通信压缩策略。论文分布式优化误差反馈通信压缩收敛性分析Lyapunov函数推荐理由:做分布式机器学习或联邦学习的开发者,这篇论文给出了误差反馈算法的理论极限,帮你理解通信压缩到底能省多少而不损失收敛性,值得细读。原文