Event ·Multi-source

Vercel:你的下一批用户是 agent,evals 是面向它们做产品的方式

Guillermo Rauch 提出,传统的用户调研、用户旅程图正被新的开发范式取代:产品的主要使用者从人类变成了 agent,开发者要为它们做产品和优化体验。Vercel 发布的 agent evals 方法包含三个核心动作:观察 agent 如何实际调用你的产品、在上线前测试改动带来的影响、在新模型发布时对比不同模型的表现。 这种做法的机制是把 evals 变成软件工程循环的一部分,替代人工访谈得到的设计灵感——agent 调用接口的行为是可测量、可回归测试的,改动是否破坏了 agent 的使用流程可以通过评估集验证。Vercel 在博客中给出了具体的 evals 实践细节。 对开发者而言,这一转变意味着接口稳定性、文档质量和错误信息的设计目标都要面向机器用户重新校准;产品方需要像维护 CI 一样维护 evals 基线,以适配持续更新的各家模型。

Current read

Rauch 在 Vercel 博客里讲他们怎么做 agent evals:看 agent 怎么用你的产品、上线前测改动、新模型发布时做对比。做 API 或开发者产品的人值得照着搭一套自己的评估流程。

3 sources44° AI heatLast updated 2026/11/16 19:44:23

Evidence

3 sources
Primary sourceGuillermo Rauch
View source
Related source 1Vercel AI
View source
Related source 2Lenny Rachitsky
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.