ServiceNow与McGill研究：AI裁判难以发现智能体任务的细微错误

ServiceNow 与 McGill 的论文指出，LLM 裁判在评估上百步的 computer-use 智能体运行时，常漏掉画错形状、发错 Slack 频道这类细微错误。团队据此构建 AgentHorizon 基准，从人类屏幕录像整理出 1373 个评判任务，通过交换近似任务的指令构造出干净的失败样本。最强的 GPT-5.5（Codex 环境）在困难分集上拿到 80.9% 平衡准确率，而全部判对的基线只有 50%。Qwen 3.6 27B 直接读完整运行记录得 77.6%，改用工具方式判断却降到 70.4%。