Hamel Husain 与 Shreya Shankar 发布进阶版 Evals 构建指南

Lenny Rachitsky 联合 Hamel Husain 与 Shreya Shankar 发布进阶教程《Building eval systems that improve your AI product》续篇。两人基于与 50 多家 AI 公司的合作经验，讲解多数团队会跳过的关键步骤、哪些环节该自动化哪些不该。文中提到 Ramp 借助 evals 将自动收据识别准确率从 35% 提升到 83%，Shopify 的 AI workflow builder 比原前沿模型方案快 2.2 倍、成本低 68%。Harvey 重构 AI 合同审查后内部质量分接近翻倍，Cursor 调优 Auto Balance 路由后在成本降低 41% 的同时提升用户满意度。教程还附带一个免费插件，可让 coding agent 承担大部分工作量。