11:12arXiv cs.LG@Ming Sun, Kun Yuan本文提出MG-ADSGD算法,针对强凸优化问题,首次在去中心化随机优化中同时实现加速的κ平方根和网络谱间隙的平方根倒数依赖。该算法结合Nesterov型原始-对偶外推与多轮快速八卦平均,通过将八卦深度与小批量大小耦合,额外通信轮次同时提升共识精度和降低梯度方差。理论分析表明,MG-ADSGD的通信复杂度达到当前最优,包含σ²/(μnε)项和√(κ/(1-β))项,优于现有所有去中心化随机方法。这一突破解决了去中心化随机优化中长期存在的加速难题。论文去中心化优化随机梯度下降强凸优化加速算法通信复杂度推荐理由:去中心化学习研究者终于有了理论最优的随机算法——MG-ADSGD同时加速了条件数和网络拓扑的影响,做分布式优化或联邦学习的团队值得关注这个新基准。原文
11:10arXiv cs.LG@Jin Guo, Roy Y. He, Jean-Michel Morel本文提出了机器学习中二阶路径核插值公式,扩展了Pedro Domingos在2020年提出的一阶插值公式。该公式将模型预测表示为沿优化路径的积分,其中包含数据依赖的核函数。二阶形式补充了曲率加权的插值项,对于随机梯度下降,还出现了与mini-batch梯度噪声协方差耦合的采样诱导分量。研究还扩展到带动量的随机梯度下降,并给出了终端预测的浓度估计。这些结果细化了神经网络预测的路径核解释,为理解训练数据如何塑造模型预测提供了更精确的理论框架。论文路径核插值二阶公式随机梯度下降神经网络预测机器学习理论推荐理由:这篇论文为理解神经网络预测提供了更精确的理论工具,做机器学习理论或模型可解释性研究的开发者值得关注,能帮你更深入理解训练数据的影响机制。原文