AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：模型审计×
6月30日
10:23
10:23arXiv cs.AI@Buğra Alperen Uluırmak, Rifat Kurban
该研究结合系统搜索、叙事综合与灰色证据，对2018-2026年评估-安全测量工作进行梳理，涵盖八个证据流（基准有效性、动态评估、LLM-as-judge可靠性等）。引入EvalSafetyGap作为组织假设，借助Goodhart法则及作者提出的不稳定分解与对齐三难困境生成可检验比较。对10个模型进行审计，发现能力与持续对抗鲁棒性之间统计不显著（Pearson r=+0.232, p=0.520），开放-封闭安全差距主要由治理与披露驱动，而非行为鲁棒性。贡献在于提供共享词汇表与证据地图，支持动态评估、透明来源报告、多尝试安全测量及可审计对齐实践。
论文LLM评估AI安全EvalSafetyGap模型审计对齐
推荐理由：这篇论文梳理了LLM评估与安全之间测量问题的八大证据流，还审计了10个模型，发现很多看似安全差距其实来自信息披露。搞模型安全的人值得看看怎么避免被表面指标骗到。
原文
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月26日
12:38
12:38arXiv: DeepSeek@Ali Şenol, Garima Agrawal, Huan Liu
精选
当前LLM评估主要依赖最终答案正确率，忽略了推理过程的质量。本研究提出一个多维度行为框架，从正确性、一致性、鲁棒性、逻辑连贯性、效率和稳定性六个维度衡量推理质量。实验发现，逻辑连贯性与正确性正交（r=-0.172），即正确答案可能来自不连贯推理。该框架还暴露了排名反转：DeepSeek-V3在准确率优先下排名第二，但在法律/合规权重下排名第五。该框架为模型部署决策提供了更全面的信号，特别适用于需要审计推理过程的场景。
论文推理模型评估框架逻辑连贯性模型审计DeepSeek-V3
推荐理由：这个框架解决了「只看答案正确率」的评估盲区，做模型选型或合规审计的团队会发现，原来高分模型可能推理过程一团糟——建议点开看看你的模型在哪个维度翻车。
原文
5月25日
11:16
11:16arXiv cs.AI@Stuart Bladon, Brinnae Bent
精选76°
一项新研究挑战了普遍假设，发现大语言模型的地缘政治偏见主要来自后训练阶段（如指令微调），而非预训练数据。研究测试了七个开源模型对（基础版和聊天版）在28对国家上的偏好，结果显示六家实验室的模型在后训练后表现出与开发者所在国或地区一致的偏见。例如，阿里Qwen 2.5聊天版对中国偏好从基础版的-0.15跃升至+2.91（对数几率），变化达18倍。偏见强度还受提示语言影响：法国Mistral模型仅在法语提示下才显著亲法。该发现强调了对模型对齐过程进行透明审计和监督的必要性。
论文地缘政治偏见后训练对齐模型审计QwenMistral
推荐理由：这项研究戳破了“数据决定一切”的迷思，做AI安全、模型对齐或地缘政治分析的团队值得细读——它直接影响了如何评估和调整模型的政治倾向。
原文