09:23官方账号arXiv cs.LG@Max Weltevrede, Matthijs T. J. Spaan, Wendelin Böhmer论文证明在上下文MDP中,过度悲观不会阻碍最优泛化,但必须尊重最优解的对称性。通过理论分析,适度悲观但非对称的值函数可能比过度悲观且对称的值函数泛化更差。数据增强应通过在策略提取时施加一致性损失来提升泛化,而非在增强数据集上常规训练。使用IQL和CQL在旋转对称reacher环境中验证了该方法。论文离线强化学习泛化数据增强对称性IQL推荐理由:这篇论文用理论和实验告诉你,离线RL里悲观多少不重要,悲观的结构对不对才关键,还给出了数据增强的正确用法。原文
09:29官方账号arXiv cs.LG@Jakob Galley, Vahid Shahverdi, Axel Flinth精选该研究探讨了训练数据的对称性是否会在神经网络的梯度流训练中产生守恒量。作者证明,在损失函数为解析且非多项式的一般情况下,数据对称性通常不会引入额外的运动积分。但对于均方误差(MSE)损失,数据增强有时会产生额外的守恒量。研究通过引入“可张量化网络”框架来描述这一现象,这类架构包括线性网络、多项式网络以及Lightning Attention。论文神经网络对称性守恒律数据增强梯度流推荐理由:这项研究澄清了数据对称性与神经网络训练动力学之间的深层关系,对理解数据增强的理论基础有重要意义。做理论研究的机器学习学者值得关注,它可能影响你对数据增强策略的设计思路。原文