精选理由
多智能体系统测试长期依赖端到端指标,这篇论文给出了可落地的结构覆盖方法,做AI工作流测试的团队可以直接参考其DSPy实现来补全测试盲区。
多智能体系统日益依赖显式工作流结构(如智能体、工具、访问规则和委托路径),但现有评估主要依赖端到端任务成功率或最终响应质量,难以验证这些声明结构是否真正被测试覆盖。该论文提出一种结构测试方法,将工作流表示为类型化协调图,推导覆盖义务(如可达智能体、允许/限制工具边、委托边),并利用DSPy生成可执行场景。在10个基准测试中,该方法成功覆盖了54/75的允许工具义务和36/48的委托义务,并发现了23/248的限制工具违规。结果表明,结构覆盖为多智能体工作流测试提供了有用的充分性层,能揭示声明结构是否被实际执行。
AI 翻译 · 中文
多智能体系统日益依赖显式工作流结构(如智能体、工具、访问规则和委托路径),但现有评估主要依赖端到端任务成功率或最终响应质量,难以验证这些声明结构是否真正被测试覆盖。该论文提出一种结构测试方法,将工作流表示为类型化协调图,推导覆盖义务(如可达智能体、允许/限制工具边、委托边),并利用DSPy生成可执行场景。在10个基准测试中,该方法成功覆盖了54/75的允许工具义务和36/48的委托义务,并发现了23/248的限制工具违规。结果表明,结构覆盖为多智能体工作流测试提供了有用的充分性层,能揭示声明结构是否被实际执行。
Multi-agent systems increasingly expose explicit workflow structure: agents, tools, tool-access rules, restrictions, and delegation paths. Existing evaluations rely largely on end-to-end task success, benchmark scores, f…