AI Failures（AI 失败案例）指的是人工智能系统在真实任务中偏离预期行为的现象，涵盖大模型输出错误、智能体目标偏移、多模态生成缺陷等多种形态。随着 AI 系统被大规模部署，如何系统性识别、分类并预防这些失败，已成为学术界与工业界共同关注的核心议题。
AI Failures 的近期研究进展
近期研究的一个趋势是将笼统的"失败"拆解为可分析的类别。DeepSeek 团队在论文 Where vs What: Decomposing Structural and Content Failures in LLM-Generated Structured Outputs 中，把 LLM 生成结构化输出的失败区分为结构层面与内容层面，为定位问题提供了更细的框架。
在目标对齐方向，What Happens to the Goal? Distinct Failures of Policy Alignment in Goal Misgeneralization 研究了目标错误泛化——模型表面表现正常，实际优化目标已经偏离，这类失败尤其难以靠表面指标发现。
多模态方面，ORCA: Hunting Compositional Failures in Text-to-Image Diffusion 提出了系统性挖掘文生图模型组合性缺陷的方法，说明生成式模型的失败同样可以被自动化地发现和归纳。
工程实践与监管视角下的 AI 失败
失败分析不只在实验室。微软研究员 Jennifer Neville 在 访谈中讨论了 AI 的"意外失败"能揭示什么，认为非预期的失败往往是理解模型局限的窗口。安全监督层面，Correlated Failures of AI Approval Monitors 指出多个 AI 审核监视器可能同时失效，这对依赖冗余监控的安全架构提出了质疑。
工程侧也有反直觉的观察：Addy Osmani 分享的一个案例中，Claude 编写了 Claude Code 约 90% 的代码，6 月到 9 月间合并的 PR 数量翻倍以上，回滚率反而下降，说明失败率的控制与自动化程度并非简单的负相关。
当前焦点与观察点
综合来看，围绕 AI 失败的研究正从"事后补救"转向"主动猎取"——无论是 ORCA 对扩散模型的组合性缺陷挖掘，还是把失败转化为可学习环境（From Failures to Learnable Worlds）的思路，都体现出把失败当作训练和评测资源的趋势。值得关注的问题包括：结构化输出的失败分类框架能否推广到智能体场景、相关联的监控器失效如何缓解，以及目标错误泛化在实际部署中的检出率。随着 AI 渗透到关键流程，失败分析的系统性程度将直接影响这类技术的可靠性边界。