#梯度上升

做开放权重模型安全的研究者应该看看这篇。它在预训练时插入梯度上升压制敏感知识，1B 模型上对抗性微调的成本比纯语料过滤高 20 倍以上，比事后 unlearning 靠谱得多，代码也开源了。