事件专题 · 官方一手

RepSelect:通过表示选择性实现鲁棒的大模型遗忘

现有大模型遗忘方法(如GradDiff、NPO、SimNPO、RMU、UNDIAL)易被微调或少样本提示逆转,表明确实只是浅层遗忘。RepSelect通过每次更新前崩塌权重梯度的主成分,隔离遗忘集特定的表示,保持通用能力不受影响。在生物危害知识和虐待倾向两个遗忘类别上,对Llama 3、Qwen 3.5、Gemma 4 E4B、DeepSeek V2 Lite四个模型族评估,RepSelect后学习准确率降低幅度是最好基线的4-50倍,且对少样本提示攻击接近完全鲁棒。

当前结论

这篇论文发现现有大模型遗忘只是表面记忆,新方法RepSelect能真正让模型忘记特定知识,还防微调和提示破解。

2 个信源58° AI 热度最后更新 2026/6/15 18:06:59

证据链

相关来源 1Tri Dao (FlashAttention)
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。

查看资讯详情