精选理由
这篇论文提出了一种叫接种适配器的新方法，用LoRA在训练时强化不想有的特征，比之前的接种提示更好用，后门更少，适合关心AI安全的人看。
该论文提出接种适配器（Inoculation Adapters, IA），基于LoRA在训练时强化不良特征以减轻优化压力。方法分三步：在不良特征上训练IA，冻结IA同时训练任务适配器，部署时丢弃IA仅保留任务适配器。在6个模型家族和包括突发性错位（emergent misalignment）在内的多种不良特征上，IA比接种提示（inoculation prompting）更有效抑制不良特征。同时避免接种提示的两个缺点：无法可靠通过提示诱发的特征抑制、引入较少意外后门。但IA在保留期望特征方面未一致优于接种提示，仍是挑战。
AI 翻译 · 中文
该论文提出接种适配器（Inoculation Adapters, IA），基于LoRA在训练时强化不良特征以减轻优化压力。方法分三步：在不良特征上训练IA，冻结IA同时训练任务适配器，部署时丢弃IA仅保留任务适配器。在6个模型家族和包括突发性错位（emergent misalignment）在内的多种不良特征上，IA比接种提示（inoculation prompting）更有效抑制不良特征。同时避免接种提示的两个缺点：无法可靠通过提示诱发的特征抑制、引入较少意外后门。但IA在保留期望特征方面未一致优于接种提示，仍是挑战。
Inoculation prompting is a selective generalization technique used against Emergent Misalignment. We introduce inoculation adapters (IA), which similarly diminish the optimization pressure to learn undesired traits by st…