模型审计相关 AI 资讯 · AI 热点

7月10日

17:10

17:10

Stanford AI Lab@StanfordAILab

精选

斯坦福AI Lab提出Distill to Detect（D2D）方法，通过蒸馏微调模型与基座模型的差异到小型“子弹”中，放大隐蔽偏见至生成文本，使现有审计工具（如训练集探测）能检测到。论文显示D2D在单个未知主题上可揭露30%以上的隐藏偏好，且无需预知偏见方向。该方法为模型审计提供了系统性的未知偏见发现手段。

论文 Stanford AI Lab D2D 微调偏见检测模型审计

推荐理由：想查你的微调模型有没有偷偷偏向某件事？D2D把模型差异蒸馏出来放大，让你抓到那些连你都不知道要找的偏见。

6月30日

10:23

10:23

官方账号arXiv cs.AI@Buğra Alperen Uluırmak, Rifat Kurban

该研究结合系统搜索、叙事综合与灰色证据，对2018-2026年评估-安全测量工作进行梳理，涵盖八个证据流（基准有效性、动态评估、LLM-as-judge可靠性等）。引入EvalSafetyGap作为组织假设，借助Goodhart法则及作者提出的不稳定分解与对齐三难困境生成可检验比较。对10个模型进行审计，发现能力与持续对抗鲁棒性之间统计不显著（Pearson r=+0.232, p=0.520），开放-封闭安全差距主要由治理与披露驱动，而非行为鲁棒性。贡献在于提供共享词汇表与证据地图，支持动态评估、透明来源报告、多尝试安全测量及可审计对齐实践。

论文 LLM评估 AI安全 EvalSafetyGap 模型审计对齐

推荐理由：这篇论文梳理了LLM评估与安全之间测量问题的八大证据流，还审计了10个模型，发现很多看似安全差距其实来自信息披露。搞模型安全的人值得看看怎么避免被表面指标骗到。

5月26日

12:38

12:38

官方一手arXiv: DeepSeek@Ali Şenol, Garima Agrawal, Huan Liu

精选

当前LLM评估主要依赖最终答案正确率，忽略了推理过程的质量。本研究提出一个多维度行为框架，从正确性、一致性、鲁棒性、逻辑连贯性、效率和稳定性六个维度衡量推理质量。实验发现，逻辑连贯性与正确性正交（r=-0.172），即正确答案可能来自不连贯推理。该框架还暴露了排名反转：DeepSeek-V3在准确率优先下排名第二，但在法律/合规权重下排名第五。该框架为模型部署决策提供了更全面的信号，特别适用于需要审计推理过程的场景。

论文推理模型评估框架逻辑连贯性模型审计 DeepSeek-V3

推荐理由：这个框架解决了「只看答案正确率」的评估盲区，做模型选型或合规审计的团队会发现，原来高分模型可能推理过程一团糟——建议点开看看你的模型在哪个维度翻车。

5月25日

11:16

11:16

官方账号arXiv cs.AI@Stuart Bladon, Brinnae Bent

精选76°

一项新研究挑战了普遍假设，发现大语言模型的地缘政治偏见主要来自后训练阶段（如指令微调），而非预训练数据。研究测试了七个开源模型对（基础版和聊天版）在28对国家上的偏好，结果显示六家实验室的模型在后训练后表现出与开发者所在国或地区一致的偏见。例如，阿里Qwen 2.5聊天版对中国偏好从基础版的-0.15跃升至+2.91（对数几率），变化达18倍。偏见强度还受提示语言影响：法国Mistral模型仅在法语提示下才显著亲法。该发现强调了对模型对齐过程进行透明审计和监督的必要性。

论文地缘政治偏见后训练对齐模型审计 Qwen Mistral

推荐理由：这项研究戳破了“数据决定一切”的迷思，做AI安全、模型对齐或地缘政治分析的团队值得细读——它直接影响了如何评估和调整模型的政治倾向。