12:11
官方账号arXiv cs.LG@Fabien Polly
推荐理由：这篇论文告诉你一个防止投毒攻击的微调方法：只学有效适配器的子空间，在flan-t5-large上比LoRA安全很多。
flan-t5-large
共 1 条相关 AI 资讯
7月7日
12:11
该论文提出了一种子空间约束适配方法，在flan-t5-large上使用196个公开LoRA适配器进行评估。实验表明：(1)适配器中30%至38%的权重范数在评价任务分布下是冗余的；(2)在干净分类数据上，限制到128维子空间的梯度适配与全量LoRA性能相当，而在目标标签反转攻击下LoRA精确匹配降至3%-26%，约束学习器保持在62%-96%；(3)约束学习器无法拟合污染数据，适配损失分离干净与脏数据达两个数量级(120倍)；(4)针对自适应后门攻击者，当目标行为与池中不相似时攻击成功率仅8% vs LoRA的100%，目标与池中常见行为重合时达85%。代码和数据已公开。