AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：测试充分性×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月27日
10:08
10:08arXiv: OpenAI@Nafiseh Kahani, Mojtaba Bagherzadeh
精选
多智能体系统日益依赖显式工作流结构（如智能体、工具、访问规则和委托路径），但现有评估主要依赖端到端任务成功率或最终响应质量，难以验证这些声明结构是否真正被测试覆盖。该论文提出一种结构测试方法，将工作流表示为类型化协调图，推导覆盖义务（如可达智能体、允许/限制工具边、委托边），并利用DSPy生成可执行场景。在10个基准测试中，该方法成功覆盖了54/75的允许工具义务和36/48的委托义务，并发现了23/248的限制工具违规。结果表明，结构覆盖为多智能体工作流测试提供了有用的充分性层，能揭示声明结构是否被实际执行。
论文多智能体系统结构测试工作流覆盖DSPy测试充分性
推荐理由：多智能体系统测试长期依赖端到端指标，这篇论文给出了可落地的结构覆盖方法，做AI工作流测试的团队可以直接参考其DSPy实现来补全测试盲区。
原文