arXiv cs.LG@Will Schwarzer, Scott Niekum
精选58
推荐理由：做AI安全评估的团队终于有了一个可量化的失败预测工具——新方法解决了评估集太小无法捕捉罕见失败模式的痛点，做模型部署前风险评估的开发者可以直接参考实验方法。
全部 AI 动态
AI 相关资讯全量信息流
5月15日
11:18
Jones等人提出一种新方法，通过从评估集中最大的k个失败分数外推，预测ML模型在部署规模下的失败率。研究给出了该估计器预测误差的有限k分解，发现其存在偏向过度预测的固有偏差（安全有利方向），但当评估集遗漏部署集中罕见的严重失败模式时，会导致预测不足。为解决这一问题，他们提出了可预测性损失（forecastability loss）作为微调目标。在语言模型密码游戏和RL网格世界两个概念验证实验中，该方法显著降低了保留集上的预测误差，同时保持了主要任务能力，并实现了与监督基线相当的安全性。