精选理由
NLP安全研究者终于有了兼顾梯度与曲率的防御方法——S-GBT在词替换攻击下将认证鲁棒准确率提升23.4%，做文本对抗防御的团队值得关注。
自然语言处理模型易受词替换攻击，现有防御主要关注一阶敏感性（梯度），但忽略了曲率（梯度变化率）的影响。本文提出S-GBT（平滑增长界张量），一种二阶方法，通过逐元素约束Hessian矩阵并加入正则化项，在训练中最小化这些界，从而获得更紧的认证鲁棒性。该方法适用于LSTM和CNN架构，在多个基准数据集上，结合一阶和二阶正则化使认证鲁棒准确率提升高达23.4%，同时保持干净准确率竞争力。研究表明，同时控制梯度及其变化是构建更鲁棒模型的有前景方向。
AI 翻译 · 中文
自然语言处理模型易受词替换攻击，现有防御主要关注一阶敏感性（梯度），但忽略了曲率（梯度变化率）的影响。本文提出S-GBT（平滑增长界张量），一种二阶方法，通过逐元素约束Hessian矩阵并加入正则化项，在训练中最小化这些界，从而获得更紧的认证鲁棒性。该方法适用于LSTM和CNN架构，在多个基准数据集上，结合一阶和二阶正则化使认证鲁棒准确率提升高达23.4%，同时保持干净准确率竞争力。研究表明，同时控制梯度及其变化是构建更鲁棒模型的有前景方向。
Despite recent progress in Natural Language Processing (NLP), models remain vulnerable to word substitution attacks. Most existing defenses focus on first order sensitivity and measure how much the output changes when th…