10:39arXiv cs.LG@Till Richter, Niki KilbertusOrthoReg提出了一种正交正则化方法,直接惩罚符号组件与神经组件的重叠,防止符号结构被神经残差吸收。相比标准L2正则化,该方法在符号组件通过稀疏发现学习时仍能保持互补分解。在部分库不匹配的基准动力系统上,OrthoReg改善了符号恢复准确性和分布外泛化性能。论文OrthoReg动力系统混合建模正则化符号回归推荐理由:这篇论文提出OrthoReg,解决了混合建模中神经网络容易学走符号部分的问题,实验效果明显,写代码的朋友可以看看。原文
09:37arXiv cs.LG@Mariya Pavlova, Harrison Bo Hua Zhu, Elizsveta Semenova, Yingzhen Li该论文提出了一种名为轨迹量化敏感度分数(TQS)的新指标,将时序模型的量化问题重新定义为动力系统的稳定性分析。TQS通过将模型推理视为离散时间动力系统,量化了量化误差在时间步上的传播和放大效应。与传统的后训练量化方法不同,TQS可以独立于量化器选择和位宽分配进行敏感度估计,适用于黑盒或编译后的网络。基于TQS,作者提出了TQS-PTQ框架,无需校准数据或二阶近似即可实现混合精度量化。实验表明,该视角在资源受限场景下提供了稳健且高性能的低精度部署方案。论文量化时序模型动力系统低精度部署混合精度推荐理由:时序模型部署时量化误差会随时间累积,TQS用动力系统理论解决了这一痛点,做边缘设备或IoT部署的工程师可以直接参考。原文
09:59arXiv cs.LG@Mohammad Tabish, Stefan KlusRaNNDy 是一种随机神经网络架构,用于数据驱动地逼近复杂动力系统的传递算子。其隐藏层权重和偏置随机初始化并固定,仅训练输出层,具有闭式解和低训练成本的优势。但该架构受限于初始随机参数决定的基函数质量,而基函数由激活函数决定。本文提出一种算法,在保持随机网络权重和偏置固定的前提下,优化激活函数本身,从而提供更合适的字典。通过随机微分方程和图随机游走等基准问题验证了该方法的有效性。论文随机神经网络传递算子逼近激活函数优化动力系统RaNNDy推荐理由:做动力系统建模或算子逼近的研究者,可以用这个算法自动调激活函数,省去手动试错的成本,建议直接看论文里的实验对比。原文