精选理由
彻底揭示LLM Agent为何会‘平静地撒谎’
论文对自2026年3月持续生产的个人助手LLM Agent运行时进行8周纵向研究,系统包含约40个定时任务、8个LLM供应商、4286个单元测试和827个治理检查。记录22起事故,识别出至少28次“静默故障”实例,归纳为5类机制导向分类(A环境平台异常、B设计假设不匹配、C错误吞噬稀释、D链式幻觉与捏造、E操作遗漏与取证盲点)。D类为LLM特有且最危险——系统不仅不报告错误,还将其转化为流畅可信的叙事呈现给用户,作者称为“fail-plausible”。关键发现:约70%静默故障由人类用户视角观察发现而非测试或审计捕获;事故延迟从13小时到60天不等,与故障机制相关而非代码复杂度。
AI 翻译 · 中文
论文对自2026年3月持续生产的个人助手LLM Agent运行时进行8周纵向研究,系统包含约40个定时任务、8个LLM供应商、4286个单元测试和827个治理检查。记录22起事故,识别出至少28次“静默故障”实例,归纳为5类机制导向分类(A环境平台异常、B设计假设不匹配、C错误吞噬稀释、D链式幻觉与捏造、E操作遗漏与取证盲点)。D类为LLM特有且最危险——系统不仅不报告错误,还将其转化为流畅可信的叙事呈现给用户,作者称为“fail-plausible”。关键发现:约70%静默故障由人类用户视角观察发现而非测试或审计捕获;事故延迟从13小时到60天不等,与故障机制相关而非代码复杂度。
LLM agent systems increasingly run as long-lived autonomous runtimes: scheduling jobs, calling tools, maintaining memory, and pushing results to humans. We present a longitudinal study of silent failures in one such syst…