Checking

general · First seen 2026-05-23 · Last seen 2026-10-23 · 59 mentions

Overview

Checking(校验/核查)在人工智能语境下,泛指对模型输出、系统行为和代码质量的验证机制,涵盖事实核查(fact-checking)、统计模型校验(model checking)和代码审查等方向。随着大模型被大规模部署,"生成之后如何验证"正在成为比"如何生成"更受关注的问题,围绕 Checking 的研究、工具和工程实践在近期集中出现。

AI Checking 近期进展

  • 学术界在事实核查方向出现了新的架构尝试。论文 Memory-First Fact-Checking: 知识图谱多智能体系统 提出以知识图谱为中心的多智能体方案,把记忆检索放在核查流程的前端,而非依赖模型内部参数化的知识直接作答,意图降低大模型在事实性任务上的幻觉风险。
  • 在更形式化的层面,Confidence Sequences for Online Statistical Model Checking of Markov Decision Processes 研究了马尔可夫决策过程的在线统计模型校验,引入置信序列方法,使系统能在运行过程中持续给出带统计保证的判定,这类工作主要面向强化学习与自主系统的安全性验证。
  • 工具链方面,DeepEval 团队发布了 JevEval:用 Jev 替代生成式 LLM 来当评估裁判,把 LLM 评估从"生成式判定"改为"结构化决策",试图解决用模型评模型时的不稳定问题。这与开发者社区关于"代码质量是验证出来的,不是写出来的"的讨论(Addy Osmani 与 lauren 的分享)相互呼应:生成成本低廉之后,Checking 环节成为质量瓶颈。Claude Code 等编程智能体也在持续迭代(v2.1.286),其核心工作流已大量依赖自动化的检查与回归验证。
  • 当前焦点与观察点

    Checking 相关讨论目前集中在三个层面:一是事实核查,核心矛盾是外部知识源(知识图谱、检索)与模型内部知识如何配合,多智能体与记忆优先是当前的主要探索路径;二是模型与智能体的行为校验,形式化方法与统计方法正在向在线、实时场景迁移;三是评估体系本身,"LLM as judge"的可靠性受到质疑,结构化判定被视为改进方向。

    需要保持克制的观察点包括:知识图谱方案在开放域事实核查中的覆盖率仍有限;统计模型校验的可扩展性尚未在大规模真实系统中验证;结构化评估替代生成式裁判的做法是否能减少偏差,也缺少大规模对比数据。总体来看,Checking 正从事后审查转变为贯穿生成全流程的基础设施,但各类方法的成熟度差异明显,尚无公认的主导方案。

    Coverage

    10 on file
    Checking · AI 话题观测|AI热报