事件专题 ·单一信源

Jerry Liu 提出评测驱动开发:先定义 eval 再爬坡优化

LlamaIndex 创始人 Jerry Liu 在 X 上提出 eval 驱动开发的思路:多数任务可以先定义一个 eval,再围绕它做 hillclimbing 优化,而不必直接编写确定性的 agentic workflow。他认为数据供应商的核心工作是为各类经济活动定义 eval,让 frontier 模型能覆盖更多任务。开发者要做的是定义要解决的问题以及如何衡量好坏,复杂流程仍需显式 workflow builder。

当前结论

LlamaIndex 的 Jerry Liu 说了个新打法:别手写 agent 流程,先写个 eval 然后对着它爬坡优化就行,挺值得试试。

2 个信源46° AI 热度最后更新 2026/10/9 07:50:53

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。