精选理由
DMOC解决了Lipschitz常数在评估神经网络鲁棒性时的粗粒度问题,做模型安全或对抗性研究的团队可以直接用这个框架替代传统方法,尤其适合处理ImageNet级别的大规模数据。
传统上,神经网络的鲁棒性通过Lipschitz常数衡量,但该方法过于粗糙或严格,无法捕捉数据依赖的细微行为。本文提出基于离散模量连续性(DMOC)的数据驱动框架,它不依赖模型内部结构,而是通过数据分布评估网络的正则性。DMOC引入了可扩展的小批量算法,将计算成本从二次降为线性,适用于ImageNet等大规模数据集。实验表明,DMOC能区分已训练和未训练网络,揭示欠拟合和过拟合状态,并作为特例给出与最先进方法相当的紧Lipschitz估计。该框架为鲁棒性评估提供了更精细、数据驱动的替代方案。
AI 翻译 · 中文
传统上,神经网络的鲁棒性通过Lipschitz常数衡量,但该方法过于粗糙或严格,无法捕捉数据依赖的细微行为。本文提出基于离散模量连续性(DMOC)的数据驱动框架,它不依赖模型内部结构,而是通过数据分布评估网络的正则性。DMOC引入了可扩展的小批量算法,将计算成本从二次降为线性,适用于ImageNet等大规模数据集。实验表明,DMOC能区分已训练和未训练网络,揭示欠拟合和过拟合状态,并作为特例给出与最先进方法相当的紧Lipschitz估计。该框架为鲁棒性评估提供了更精细、数据驱动的替代方案。
Robustness of neural networks is commonly quantified via local or global Lipschitz constants. However, Lipschitz continuity can be overly coarse or overly restrictive as global robustness measure, failing to capture nuan…