Agent evals(智能体评估)指对 AI Agent 在真实任务中的表现进行系统性测试与打分的方法和实践，涵盖单轮回复测试、多轮模拟对话以及端到端 benchmark，是当前 Agent 工程从原型走向生产的关键环节。随着 Agent 在代码、金融、教育等领域落地，怎么衡量“这个 Agent 到底靠不靠谱”成为开发者和企业共同面对的难题，相关工具链和方法论在近几个月密集出现。
Agent evals 近期进展
当前焦点与观察点
目前围绕 agent evals 的讨论集中在三个层面。其一是评估对象的扩展：从单轮回复的快速断言，到需要模拟用户、环境和多步决策的多轮场景，评估复杂度显著上升，如何让不同粒度的测试复用同一套执行逻辑成为工具设计的焦点。
其二是裁判（judge）与验证器（verifier）的角色。用 LLM 充当裁判来给 Agent 输出打分已较为普遍，但裁判自身的可靠性和偏差仍存争议，社区中不少从事 evals、judges 与 verifiers 工作的实践者呼吁将自动化打分与可追溯的人工核验结合，尤其在金融等对数字来源要求严格的领域，“结果能否追溯到源头”比分数本身更重要。
其三是工程化程度。评估正在从写脚本的手工阶段，走向与 CI/CD、基础设施管理整合的阶段，Terraform 配置评估环境即是信号。可以预期的观察点包括：评估标准能否形成行业共识、离线 benchmark 与线上真实表现的相关性如何验证，以及评估成本随 Agent 复杂度增长的权衡。对准备将 Agent 投入生产的团队而言，尽早建立可复现的评估流程，正从可选项变为必选项。