Event ·Single source

论文提出模拟控制评估 SCE:用模型模拟环境预测安全指标

Redwood 类控制评估(control evals)通常在专用环境中测试安全措施能否拦截故意作恶的模型,再将结果外推到实际部署。论文提出模拟控制评估(SCE),用语言模型模拟工具响应来替代真实环境。在 LinuxArena 上对照真实执行结果,SCE 预测安全性的 RMSE 为 3.6 个百分点(5% 审计预算、5 个监控器),优于在 BashArena 单独环境执行的 10.1。SCE 对攻击策略分布的 KL 散度比 BashArena 低超过十倍,能解释 78-85% 的跨环境攻击成功率、监控得分与安全性方差。通过模拟发现的策略还能提升监控器在 held-out LinuxArena 攻击上的表现,效果接近真实执行的策略。

Current read

一篇 AI 安全方向的新论文,教你用语言模型直接模拟环境做安全评估,预测误差 3.6 个百分点,比传统 BashArena 的 10.1 准得多。做红队或评估的同学可以看看。

2 sources47° AI heatLast updated 2026/10/22 17:26:42

Evidence

2 sources
Primary sourcearXiv cs.AI
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

Simulated Control Evals Predict AI Safety With Lower Error · 事件专题 | AITOP