微调安全相关 AI 资讯 · AI 热点

7月7日

12:11

12:11

官方账号arXiv cs.LG@Fabien Polly

该论文提出了一种子空间约束适配方法，在flan-t5-large上使用196个公开LoRA适配器进行评估。实验表明：(1)适配器中30%至38%的权重范数在评价任务分布下是冗余的；(2)在干净分类数据上，限制到128维子空间的梯度适配与全量LoRA性能相当，而在目标标签反转攻击下LoRA精确匹配降至3%-26%，约束学习器保持在62%-96%；(3)约束学习器无法拟合污染数据，适配损失分离干净与脏数据达两个数量级(120倍)；(4)针对自适应后门攻击者，当目标行为与池中不相似时攻击成功率仅8% vs LoRA的100%，目标与池中常见行为重合时达85%。代码和数据已公开。

论文 flan-t5-large LoRA 微调安全子空间约束对抗攻击

推荐理由：这篇论文告诉你一个防止投毒攻击的微调方法：只学有效适配器的子空间，在flan-t5-large上比LoRA安全很多。

5月14日

13:27

13:27

官方一手arXiv: DeepSeek@Davi Bastos Costa, Renato Vicente

精选

研究发现，在有害数据上微调大语言模型会导致“涌现性失调”，即模型在无关提示上也表现出不良行为。作者提出这源于“人格模型崩溃”——模型模拟、区分和维持一致角色的内部能力退化。通过道德敏感性（S）和道德鲁棒性（R）两个指标，对DeepSeek-V3.1、GPT-4.1、GPT-4o、Qwen3-235B四种模型测试发现，不安全微调使S平均增加55%，R平均下降65%，而安全微调则影响较小。这些指标可作为涌现性失调的敏感诊断工具，为理解模型行为退化提供了行为学证据。

论文涌现性失调人格模型崩溃模型对齐微调安全角色扮演

推荐理由：做AI安全和对齐的研究者、模型微调工程师值得关注——这项研究用两个量化指标揭示了有害微调如何让模型角色扮演能力崩溃，比单纯看输出内容更早发现问题。建议点开看看指标计算方法。

5月13日

19:12

19:12

官方一手arXiv: DeepSeek@Joel Schreiber, Ariel Goldstein

精选75°

该研究对微调导致的大模型“突发性错位”（EM）现象进行了迄今最全面的分析。研究复现了GPT-4o上的EM现象，并扩展至12个开源模型（Llama、Qwen、DeepSeek、GPT-OSS，8B-671B参数），评估了超过100万条模型响应。结果发现EM仅在17%的开源模型中稳定复现，且与模型规模显著相关。通过检查点分析，研究者发现EM出现在训练后期、主任务收敛之后，本质上是“过度训练”而非“错误对齐”。早期停止和谨慎选择学习率可消除EM，同时保留平均93%的任务性能。该发现将EM从不可预见的微调风险重新定义为可避免的训练产物。

论文突发性错位微调安全早期停止开源模型对齐研究

推荐理由：做LLM微调的团队终于有了避免“突发性错位”的实操指南——早期停止就能保留93%性能，建议所有做安全对齐的工程师点开看看具体阈值。