AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：犹豫感知×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月26日
12:12
12:12arXiv: OpenAI@Aoxi Liu, Yupeng Chen, James Oldfield, Guanzhe Hong, Junchi Yu, Baoyuan Wu, Philip Torr, Adel Bibi
精选
扩散大语言模型（D-LLMs）通过多步去噪生成文本，其中间隐藏状态包含安全相关信息，但安全监控研究尚属空白。本文发现，中间隐藏状态反复接近分类器决策边界的“安全犹豫”信号能有效预测轻量级探针的失败。基于此，提出$D^2$-Monitor，采用轻量探针持续监控并估计犹豫程度，当犹豫超过阈值时激活更强但更重的探针，实现测试时资源动态分配。在WildguardMix、ToxicChat、OpenAI-Moderation三个数据集上，对四种D-LLMs评估，$D^2$-Monitor以≤0.85M参数取得最优性能，并在效果与效率间达到最佳平衡。
论文扩散大语言模型安全监控动态路由轻量探针犹豫感知
推荐理由：做LLM安全对齐的团队终于有了针对扩散模型的专用监控方案——$D^2$-Monitor用轻量探针+动态路由解决了资源效率问题，做模型部署和红队测试的可以直接参考论文中的实现思路。
原文