精选理由
这篇论文梳理了LLM评估与安全之间测量问题的八大证据流，还审计了10个模型，发现很多看似安全差距其实来自信息披露。搞模型安全的人值得看看怎么避免被表面指标骗到。
该研究结合系统搜索、叙事综合与灰色证据，对2018-2026年评估-安全测量工作进行梳理，涵盖八个证据流（基准有效性、动态评估、LLM-as-judge可靠性等）。引入EvalSafetyGap作为组织假设，借助Goodhart法则及作者提出的不稳定分解与对齐三难困境生成可检验比较。对10个模型进行审计，发现能力与持续对抗鲁棒性之间统计不显著（Pearson r=+0.232, p=0.520），开放-封闭安全差距主要由治理与披露驱动，而非行为鲁棒性。贡献在于提供共享词汇表与证据地图，支持动态评估、透明来源报告、多尝试安全测量及可审计对齐实践。
AI 翻译 · 中文
该研究结合系统搜索、叙事综合与灰色证据，对2018-2026年评估-安全测量工作进行梳理，涵盖八个证据流（基准有效性、动态评估、LLM-as-judge可靠性等）。引入EvalSafetyGap作为组织假设，借助Goodhart法则及作者提出的不稳定分解与对齐三难困境生成可检验比较。对10个模型进行审计，发现能力与持续对抗鲁棒性之间统计不显著（Pearson r=+0.232, p=0.520），开放-封闭安全差距主要由治理与披露驱动，而非行为鲁棒性。贡献在于提供共享词汇表与证据地图，支持动态评估、透明来源报告、多尝试安全测量及可审计对齐实践。
LLM evaluation and AI safety face a shared measurement problem: benchmark scores, reward-model signals, and reported safety metrics can improve while the latent properties they are meant to represent remain difficult to …