用 Jev 单条是非题检测对齐失败：中位 AUROC 0.886

论文提出用 TypeSafe AI 的校准决策模型 Jev 提问一条通用是非题，以输出概率作为评分来识别模型对齐失败，无需额外训练即可达到中位 AUROC 0.886。成本方面，在 19 个基准上 Jev 单次通过花费 $0.30，而这些基准常用的 LLM 裁判要 $18.96。研究者构建了 RLCDAlignBench，整合 44 个现有基准、覆盖谄媚、越狱、欺骗、提示注入、奖励劫持等十类失败。在 StrongREJECT 上，Jev 与人工标注的一致性达到 GPT-4o-mini 评分器水平，排序能力更强（AUROC 0.971 对 0.929）。研究还发现阈值不能跨基准迁移，在 10 条标注数据上拟合阈值可将中位 F1 从 0.706 提升到 0.793。