AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

Safe Trigger

共 1 条相关 AI 资讯
6月16日
10:49
10:49官方一手arXiv: DeepSeek@Ke Miao, Jiaxin Li, Hongliang Chen, Yuke Hu, Zhan Qin
论文Safe Trigger提出利用大推理模型(LRM)自身的潜在安全意识进行安全对齐,无需外部人工标注。该方法先使用监督微调(SFT)为不安全查询注入安全标签触发安全分析,对一般查询保持原响应实现自适应;再通过直接偏好优化(DPO)提升安全分析的稳定性。实验显示,DeepSeek-R1-Distill-Llama-8B在有害和越狱基准上的攻击成功率(ASR)平均下降24.65%和36.72%,且通用性能几乎不受影响。
论文Safe TriggerDeepSeek-R1大推理模型AI安全SFT

推荐理由:这篇论文发现LRM自己就能识别风险,用SFT+DPO触发安全分析,让DeepSeek-R1的越狱成功率高降36%,还不用外部数据,挺实用的。
原文
精选全部日报登录