#audits

AgentProv solves the critical problem of verifying if agentic LLM APIs actually use the models they claim, addressing trust issues in commercial AI services.

#AgentProv #LLM API #tool use #audits

arXiv: Anthropic@Xun Wang et al. (5)Source

Aug 2

Industry11:39

Chinese contentGPT 5.6 Luna与DSv4 Flash成本与审计差异对比

想省钱又怕被审计？看看GPT 5.6 Luna和DSv4 Flash的成本差异，选型心里有数。

#GPT 5.6 Luna #DSv4 Flash #cost comparison #audits

Geek@geekbbSource

Jul 31

Papers13:13

Chinese content一个人，N个智能体：置信度校准与相关误差下的LLM智能体审计预算分配

这篇论文用数学告诉你，LLM自报置信度不靠谱时，按置信度排序审计可能比随机还差，而且越省预算越危险，值得做AI治理的人看看。

#LLM #agents #audits #calibration

arXiv cs.AI@Cesare Zavattari et al. (3)Source

Jul 20

Papers09:30

Chinese content可审计可信度水平方法：AI生命周期治理的形式化框架与流程

这篇论文给出了AI系统生命周期可信度评估的具体方法，用决策树生成可读的规则和阈值，适合做治理合规的工程师看看。

#AI governance #lifecycle #interpretability #audits

arXiv cs.AI@Andrea FerrarioSource

Jun 15

Papers11:10

Chinese content机器遗忘行为审计存在隐私成本

论文证明行为审计会泄露隐私，给审计方案敲警钟

#Machine Unlearning #privacy #audits

arXiv cs.LG@Liou Tang et al. (3)Source

Jun 10

PapersSelected09:11

Chinese contentMoE 专家重要性因果审计：观测指标无法预测剪枝效果

MoE 模型剪枝的常用假设被实验证伪了——做模型压缩或可解释性研究的团队，建议重新审视你的专家选择策略，别再依赖路由统计指标。

#MoE #model pruning #causal inference #interpretability

arXiv: DeepSeek@Leonard Engmann et al. (3)Source

Jun 9

Products23:49

Chinese contentLangSmith 实现全链路追踪，覆盖工具调用与推理节点

做 AI 应用开发和运维的团队终于有了可审计的全链路追踪——LangSmith 覆盖工具调用和推理节点，建议直接集成到工作流中。

#LangSmith #interpretability #model evaluation #audits

Official accountLangChain@LangChainAISource

PapersSelected09:26

Chinese contentAuditFraudBench：审计欺诈检测新基准，LLM 识别财务造假仍困难

审计和财务分析从业者终于有了一个专门评估 LLM 识别财务造假的基准——AuditFraudBench 直击现有模型在误导性披露和欺诈模式上的短板，做金融 NLP 或审计自动化的团队值得用它来检验自己的模型。

#audits #model evaluation #benchmarks

arXiv: DeepSeek@Zhiwei Liu et al. (7)Source

Jun 3

PapersSelected72°10:13

Chinese contentAgent libOS：类库操作系统运行时，为长期运行的LLM智能体提供能力控制

做LLM智能体工程化的团队终于有了一个正经的运行时方案——Agent libOS把智能体当进程管理，解决了长期运行、权限控制和审计的痛点，做智能体框架或生产部署的开发者值得细读。

#agents #runtime #audits

Event

arXiv cs.AI@Yingqi ZhangSource