论文精选

审计推理模型遗忘后记忆残留:Head-Conditioned Canaries 方法

Auditing Reasoning-Trace Memorization Claims after Unlearning with Head-Conditioned Canaries

精选理由

做模型遗忘审计的团队会发现,思维链泄露可能被误判为权重记忆,这篇论文提供了一个简单有效的 sanity check 方法,值得在评估流程中加上。

AI 摘要

该研究审计了推理模型在遗忘后是否仍通过思维链泄露已遗忘内容。使用 DeepSeek-R1-Distill-Qwen-7B 和 LoRA 记忆虚构作者,通过 NPO 遗忘和六 token canary 头条件,发现思维链替换为短非 canary 前缀可显著降低答案率,而 bypass 间隙本身不能可靠指示权重级记忆。不同种子下结果不一致,甚至出现反转。推荐在标准审计外增加解码时模板替换作为廉价检查。

AI 翻译 · 中文

该研究审计了推理模型在遗忘后是否仍通过思维链泄露已遗忘内容。使用 DeepSeek-R1-Distill-Qwen-7B 和 LoRA 记忆虚构作者,通过 NPO 遗忘和六 token canary 头条件,发现思维链替换为短非 canary 前缀可显著降低答案率,而 bypass 间隙本身不能可靠指示权重级记忆。不同种子下结果不一致,甚至出现反转。推荐在标准审计外增加解码时模板替换作为廉价检查。

arXiv: DeepSeekEvaluations of unlearning on reasoning models sometimes show a bypass pattern. The answer side looks unlearned, but the model's own thinking trace keeps emitting the forgotten content, and the gap is taken as evidence th