W&B 的 Zubin Aysola 演示把 Agent 生产事故变成 eval 测试用例
Your agent made a mistake. Can you turn it into a test? Zubin Aysola (@wandb) turns an ARIA product...
精选理由
W&B 的人现场演示怎么把 agent 一次翻车的生产 trace 改成 eval 用例，修完还能跑基准验证，做 agent 评测的可以照抄这个流程。
Zubin Aysola（@wandb）展示一套把 Agent 犯错转化为测试的方法：从 ARIA 产品的生产 trace 中提取出错场景，写成 eval 用例，再用它对修复方案做基准测试。内容来自 World's Fair 的演讲录像，视频链接已公开。这个流程让每次线上出错都能沉淀为可回归验证的测试资产。
原文 · AI Engineer
Your agent made a mistake. Can you turn it into a test? Zubin Aysola (@wandb) turns an ARIA product...
Your agent made a mistake. Can you turn it into a test? Zubin Aysola ( @wandb ) turns an ARIA production trace into an eval and benchmarks the fix. World’s Fair recording: youtu.be/XyV6bSMyq-I Meet the builders in NYC, Oct 12–14 → ai.engineer/nyc/2026 💬 2 🔄 0 ❤️ 1 👀 552 📊 3 ⚡
