残差连接相关 AI 资讯 · AI 热点

7月2日

10:15

10:15

官方账号arXiv cs.AI@Hao Huang

论文将Muon优化器解释为隐式残差连接。正交化更新牺牲局部梯度保真度，但改善下游层的表示保留。在受控线性优化中，Muon学习对局部目标拟合慢但下游层易利用的表示。该视角为设计平衡局部下降与下游可用性的优化器提供了新思路。

论文 Muon 优化器残差连接表示学习论文

推荐理由：这篇论文给了Muon一个新视角：它不只是优化器，更像隐式残差连接，专门为下游层保留好的表示。想理解Muon为什么管用的可以看看。

6月18日

02:45

02:45

官方账号Microsoft Research@MSFTResearch

精选

ResNet在CVPR 2026上获得Longuet-Higgins奖，表彰其持久影响力。该论文发表十年，残差连接已成为现代AI系统的基础组件。其引用量超过32万次，并在持续增长。残差连接解决了深层网络退化问题，推动了计算机视觉和整个深度学习领域的发展。

AI模型 ResNet CVPR Longuet-Higgins Prize 残差连接计算机视觉

推荐理由：ResNet的残差思想直到今天还在被所有大模型使用，32万引用不是白来的，这个奖实至名归。

6月16日

12:17

12:17

官方账号arXiv cs.LG@Vivek S Borkar

本文利用乘法遍历理论分析深度神经网络中的梯度爆炸与消失现象，特别解释残差连接的作用。通过Furstenberg和Kifer的Lyapunov指数刻画，精确阐述了残差连接对Lyapunov谱的影响。研究为理解残差连接如何缓解梯度问题提供了数学基础。

论文梯度爆炸残差连接 Lyapunov指数深度神经网络乘法遍历理论

推荐理由：这篇论文用数学解释了残差连接为什么能解决梯度问题，适合想做深度学习理论研究的同学。

5月28日

19:58

19:58

rohanpaul_ai@rohanpaul_ai

研究发现图像扩散Transformer训练效率低下的根源在于残差连接，而非注意力或编码器。残差连接导致信号膨胀、梯度消失和特征冗余，尤其不适合扩散模型这种多步去噪任务。作者提出扩散自适应路由（Diffusion-Adaptive Routing），让每层根据去噪时间步动态选择前层输出，从而在相同图像质量下减少8.75倍训练迭代。该工作没有引入新数据集或注意力机制，而是质疑了从语言Transformer继承的残差结构。

论文扩散模型 Transformer 残差连接训练加速 DiT

推荐理由：扩散模型研究者终于找到了训练瓶颈的隐藏位置——残差连接，8.75倍加速意味着更低的训练成本，做图像生成的团队值得关注这个新路由方案。