13:44arXiv cs.LG@Mohammed Bouri, Mohammed Erradi, Adnane Saoud自然语言处理模型易受词替换攻击,现有防御主要关注一阶敏感性(梯度),但忽略了曲率(梯度变化率)的影响。本文提出S-GBT(平滑增长界张量),一种二阶方法,通过逐元素约束Hessian矩阵并加入正则化项,在训练中最小化这些界,从而获得更紧的认证鲁棒性。该方法适用于LSTM和CNN架构,在多个基准数据集上,结合一阶和二阶正则化使认证鲁棒准确率提升高达23.4%,同时保持干净准确率竞争力。研究表明,同时控制梯度及其变化是构建更鲁棒模型的有前景方向。论文词替换攻击认证鲁棒性二阶优化LSTMCNN推荐理由:NLP安全研究者终于有了兼顾梯度与曲率的防御方法——S-GBT在词替换攻击下将认证鲁棒准确率提升23.4%,做文本对抗防御的团队值得关注。原文