12:05官方账号arXiv cs.LG@William Kengne, Ehud Mossa Ockegna该论文提出稀疏惩罚深度神经网络(SPDNN)估计器,处理协变量偏移下的非参数分位数和Huber回归。当密度比未知时,采用两步预训练:先构建最小二乘SPDNN估计密度比,再用于重加权回归。在Hölder光滑函数类中,SPDNN估计器能达到(对数因子内)极小化最优收敛率,适用于i.i.d.和多种时间序列模型(如φ-mixing、强混合等)。论文SPDNN协变量偏移非参数回归推荐理由:这篇论文提出了SPDNN方法,专门解决训练数据和目标数据分布不同的问题。它能量化回归和Huber回归,还能处理时间序列依赖数据。理论证明能达到最优收敛速度,挺扎实的。原文稍后读已读值得跟进有用关注 SPDNN
09:28官方账号arXiv cs.LG@Andrej Bogdanov, Alon Rosen, Neekon Vafa论文提出了一种方法,允许攻击者在深度前馈神经网络中植入后门,这些后门在白盒设置下统计上不可检测,即后门模型与诚实训练模型的总变差距离很小。后门可对每个输入提供基于不变性的对抗样本,将距离较远的输入映射到异常接近的输出。论文证明,在没有后门的情况下,基于标准密码学假设,无法在多项式时间内生成任何此类对抗样本。理论和初步实验展示模型训练者与用户之间的基本权力不对称。论文后门攻击深度神经网络对抗样本推荐理由:这篇论文揭示了AI安全的新漏洞:攻击者能植入无法被检测到的后门,生成对抗样本。对做模型安全的人很重要。原文稍后读已读值得跟进有用关注 后门攻击
12:17官方账号arXiv cs.LG@Vivek S Borkar本文利用乘法遍历理论分析深度神经网络中的梯度爆炸与消失现象,特别解释残差连接的作用。通过Furstenberg和Kifer的Lyapunov指数刻画,精确阐述了残差连接对Lyapunov谱的影响。研究为理解残差连接如何缓解梯度问题提供了数学基础。论文梯度爆炸残差连接Lyapunov指数推荐理由:这篇论文用数学解释了残差连接为什么能解决梯度问题,适合想做深度学习理论研究的同学。原文稍后读已读值得跟进有用关注 梯度爆炸