#model audits

This matters to developers because it reveals a potential flaw in how unlearning is verified for these models, which could impact trust in AI systems that rely on unlearning capabilities.

#unlearning #model audits

arXiv cs.LG@Junlong Shen Xingyu LiSource

Aug 27

Papers10:42

Chinese contentICON分解：用于模型审计的深度表示的多变量概念级解释

这篇论文提出了一个名为ICON分解的新方法，用于更准确地评估深度神经网络中各个概念的重要性，对于模型审计和可解释性研究具有重要意义。与现有的基线方法相比，它能够提供更可靠的解释，对于理解模型的决策过程非常有帮助。

#deep learning #model audits #neural networks

arXiv cs.AI@Roshan Prakash Rane et al. (10)Source

Jul 31

Papers12:34

Chinese contentKAISEN：可复现的临床风险模型亚组公平性审计

KAISEN把公平性审计拆成五个阶段，用合成数据测出哪个环节会失效。阈值优化靠谱，但Platt缩放和机制诊断有坑。

#KAISEN #fairness #model audits

arXiv cs.LG@Sparsh Roy et al. (3)Source

Jul 10

PapersSelected17:10

Chinese contentDistill to Detect：蒸馏微调LLM基座差异，放大隐藏偏见

想查你的微调模型有没有偷偷偏向某件事？D2D把模型差异蒸馏出来放大，让你抓到那些连你都不知道要找的偏见。

#Stanford AI Lab #D2D #fine-tuning #bias detection

Stanford AI Lab@StanfordAILabSource

Jun 30

Papers10:23

Chinese contentEvalSafetyGap: LLM评估安全失败的概念框架与混合调查

这篇论文梳理了LLM评估与安全之间测量问题的八大证据流，还审计了10个模型，发现很多看似安全差距其实来自信息披露。搞模型安全的人值得看看怎么避免被表面指标骗到。

#LLM evaluation #AI safety #EvalSafetyGap #model audits

arXiv cs.AI@Buğra Alperen Uluırmak, Rifat KurbanSource

May 26

PapersSelected12:38

Chinese contentLLM推理质量评估新框架：多维度行为框架揭示准确率之外的盲区

这个框架解决了「只看答案正确率」的评估盲区，做模型选型或合规审计的团队会发现，原来高分模型可能推理过程一团糟——建议点开看看你的模型在哪个维度翻车。

#reasoning models #model evaluation #model audits #DeepSeek-V3

arXiv: DeepSeek@Ali Şenol et al. (3)Source

May 25

PapersSelected76°11:16

Chinese contentLLM 地缘政治偏见源于后训练，而非预训练数据

这项研究戳破了“数据决定一切”的迷思，做AI安全、模型对齐或地缘政治分析的团队值得细读——它直接影响了如何评估和调整模型的政治倾向。

#model audits #Qwen #Mistral

arXiv cs.AI@Stuart Bladon, Brinnae BentSource