02:45Microsoft Research@MSFTResearch精选ResNet在CVPR 2026上获得Longuet-Higgins奖,表彰其持久影响力。该论文发表十年,残差连接已成为现代AI系统的基础组件。其引用量超过32万次,并在持续增长。残差连接解决了深层网络退化问题,推动了计算机视觉和整个深度学习领域的发展。AI模型ResNetCVPRLonguet-Higgins Prize残差连接计算机视觉推荐理由:ResNet的残差思想直到今天还在被所有大模型使用,32万引用不是白来的,这个奖实至名归。原文
12:17arXiv cs.LG@Vivek S Borkar本文利用乘法遍历理论分析深度神经网络中的梯度爆炸与消失现象,特别解释残差连接的作用。通过Furstenberg和Kifer的Lyapunov指数刻画,精确阐述了残差连接对Lyapunov谱的影响。研究为理解残差连接如何缓解梯度问题提供了数学基础。论文梯度爆炸残差连接Lyapunov指数深度神经网络乘法遍历理论推荐理由:这篇论文用数学解释了残差连接为什么能解决梯度问题,适合想做深度学习理论研究的同学。原文
19:58rohanpaul_ai@rohanpaul_ai研究发现图像扩散Transformer训练效率低下的根源在于残差连接,而非注意力或编码器。残差连接导致信号膨胀、梯度消失和特征冗余,尤其不适合扩散模型这种多步去噪任务。作者提出扩散自适应路由(Diffusion-Adaptive Routing),让每层根据去噪时间步动态选择前层输出,从而在相同图像质量下减少8.75倍训练迭代。该工作没有引入新数据集或注意力机制,而是质疑了从语言Transformer继承的残差结构。论文扩散模型Transformer残差连接训练加速DiT推荐理由:扩散模型研究者终于找到了训练瓶颈的隐藏位置——残差连接,8.75倍加速意味着更低的训练成本,做图像生成的团队值得关注这个新路由方案。原文