方差缩减相关 AI 资讯 · AI 热点

7月29日

10:00

10:00

官方账号arXiv cs.LG@Zhaojun Peng

精选

该论文提出MC-ALFCG，一种结合动量条件梯度与耦合截断多级蒙特卡洛估计的方法，用于处理固定遍历马尔可夫链单轨迹梯度采样下的非凸复合优化。在正中心噪声下，期望样本复杂度为Õ(τ_mix²G_σ ε⁻³ + τ_mix^(5/2) G_σ² ε⁻³ + τ_mix⁵ ε⁻²)，其中τ_mix为混合时间。精确无噪声版本达到Õ(ε⁻²)的复杂度且常数与混合时间无关。数值实验验证了参数灵敏度和剪枝行为。

论文 MC-ALFCG 条件梯度方法方差缩减

推荐理由：这篇论文搞了个新方法MC-ALFCG，专门对付马尔可夫链采样下的非凸优化，理论复杂度给得很细，数值实验也做了，搞优化算法的可以看看。

7月23日

12:11

12:11

官方账号arXiv cs.LG@Andrea Napoli

该论文提出ARROW，首个针对最大均值差异（MMD）和相关对齐（CORAL）损失函数的在线随机方差缩减（SVR）算法。ARROW维护对齐统计量的移动平均参考，并自适应重加权传入的minibatch以对齐minibatch与参考统计量。通过松弛重加权方案使权重优化问题可解。实验表明，ARROW在运行时间、方差缩减程度和目标域准确率上与离线算法竞争力相当。

论文 ARROW MMD CORAL

推荐理由：这篇论文解决了流式数据的方差缩减问题，ARROW算法能在线对齐MMD和CORAL，效果不输离线方法，搞领域自适应的人可以看看。

6月23日

10:34

10:34

官方账号arXiv cs.LG@Shengchao Zhao, Yongchao Liu

论文提出VRA-FedSGD算法，针对联邦学习中重尾梯度噪声和通信噪声问题。该算法采用动量方差缩减配合非线性映射减轻重尾梯度噪声，并使用方差缩减聚合机制抑制重尾通信噪声。在非凸目标函数下，均方收敛率为O(K^{-(p-1)/(2p-1)})，其中p为尾指数；在强凸目标函数下，几乎必然收敛率为O~(K^{-(1-1/(p-ε))})。在逻辑回归问题上的仿真实验验证了算法有效性。

论文 VRA-FedSGD 联邦学习方差缩减

推荐理由：这篇论文搞了个VRA-FedSGD，专门对付联邦学习里常见的重尾噪声，收敛速度有理论保证，实验也跑通了，值得看看。

5月21日

10:57

10:57

官方账号arXiv cs.AI@Jesse Bettencourt, Xindi Wu, Matan Atzmon, James Lucas, Jonathan Lorraine

精选

预训练扩散模型常作为冻结教师模型用于下游任务（如文本到 3D、单步蒸馏、数据归因），但这些任务依赖蒙特卡洛期望估计梯度，方差大且计算成本高。本文提出 CARV 框架，通过分层蒙特卡洛估计器，在扩散噪声重采样上摊销昂贵上游计算，结合时间步重要性采样和分层逆 CDF 构造，有效降低方差。在文本到 3D 蒸馏和归因实验中，CARV 实现 2-3 倍有效计算加速，且不改变目标函数；在单步蒸馏中方差降低一个数量级，但下游 FID 无改善，表明此时方差已非瓶颈。该工作为扩散模型下游应用提供了高效方差缩减方案。

论文扩散模型方差缩减蒙特卡洛估计

推荐理由：做扩散模型下游应用（如文本到 3D、蒸馏）的团队，如果被梯度方差和计算成本困扰，CARV 的 2-3 倍加速值得直接尝试。