11:52官方账号arXiv cs.AI@Mona Schirmer, Metod Jazbec, Alexander Timans, Christian Naesseth, Maja Waldron, Eric Nalisnick尽管经过对齐训练,LLM在部署时仍会产生不安全输出。研究提出一种简单实时监控器,利用外部模型的验证器信号,通过风险控制(Risk Control)校准阈值来触发报警。在数学推理和红队数据集上,该简单方法与基于序列假设检验(Sequential Hypothesis Testing)的复杂监控器性能相当。实验表明,无需复杂统计模型即可有效监控LLM输出安全性。论文LLM风险控制安全监控红队测试阈值校准推荐理由:这篇论文直接用阈值加风险控制就能搞定LLM安全监控,效果不输那些复杂方法,适合快速落地。原文
10:40官方账号arXiv cs.LG@Mingzhi Song本文提出局部总体风险证书(Local Population-Risk Certificates),为当前模型θ周围的候选方向v∈D构建ℓ_{θ+v}-ℓ_θ的两面置信带。该证书的上端点作为风险控制更新规则:仅当上端点非正时才接受更新,否则保留当前模型。这种方法保证了更新不会增加总体风险,为安全模型更新提供了理论保障。论文风险控制模型更新置信带理论分析推荐理由:这篇论文用置信带兜底,保证模型更新不会越改越差,适合需要稳妥迭代的场景。原文