AITOP

LLM审计

共 2 条相关 AI 资讯
7月21日
10:02
10:02官方账号arXiv cs.AI@Pilsung Kang
该论文将量子问题顺序模型中的QQ等式发展为审计自回归大语言模型（LLMs）顺序判断的标准。理论表征了满足QQ等式的机制类别，包括边际独立核和极性依赖重复家族。方法上开发了预指定审计流水线，结合最坏情况鲁棒性包络、采样一致性抽查和饱和诊断。在开放权重指令微调模型上进行的初步实验中，所有预指定的健康门通过，但17/18和7/8项目对饱和（近确定性），没有项目通过残差上下文认证。
论文QQ equalityLLM审计问题顺序效应
推荐理由：这篇论文用QQ等式定量审计LLM的顺序效应，还给出了理论机制和实用流水线，适合对模型行为一致性感兴趣的人读。
原文
5月18日
10:36
10:36官方账号arXiv cs.LG@Parand A. Alamdari, Toryn Q. Klassen, Sheila A. McIlraith
精选
这篇论文提出结合形式化方法与机器学习的技术，用于在AI开发生命周期中审计和监控高级AI系统（尤其是LLM）的合规性。方法包括离线审计、在线运行时监控，以及预测性和干预性监控器，能在运行时提前预防违规。实验表明，基于线性时序逻辑（LTL）的方法在检测时序行为约束违规方面优于纯LLM基线，小模型也能匹配或超越前沿LLM裁判。干预监控器在保持任务性能的同时显著降低了LLM智能体的违规率。研究还发现，LLM的时序推理能力随事件距离、约束数量和命题数量增加而显著下降。
论文形式化方法AI安全/合规LLM审计
推荐理由：做AI安全与合规的团队终于有了可落地的形式化方法方案——LTL+小模型就能超越LLM裁判，建议做AI治理的开发者直接看实验部分。
原文