AI Dev NYC 将开设定制基准评测工作坊,教你提前发现智能体缺陷
做智能体的朋友注意,这个工作坊教你写定制基准,先于用户发现 agent 在哪挂掉,方法论挺实用。
DeepLearning.AI 宣布在 AI Dev NYC 大会(2026 年 11 月 30 日至 12 月 1 日,曼哈顿 Chelsea Piers 举办)开设智能体评测工作坊。工作坊由 veris_ai 的 Mehdi Jamei 和 Andi Partovi 主讲,主题是设计定制化基准测试,让开发者在用户之前发现智能体的问题。课程内容包括构建贴近真实使用的测试场景、衡量结果而非仅看回复、保持评测可重复执行三部分。
Find out how your agent breaks before your users do it for you. Learn to design custom benchmarks with Mehdi Jamei & @andiPartovi ( @veris_ai ) at AI Dev NYC: Build realistic test scenarios Measure outcomes, not just responses Keep evals repeatable 📅Nov 30–Dec 1, 2026 · Chelsea Piers, NYC luma.com/AIDevNYC2026?u… dP #AIDev e #DeepLearningAI A #AIEvaluation on 💬 2 🔄 0 ❤️ 3 👀 815 📊 2 ⚡