技巧精选

提示词工程实战:评估比改提示更重要

睡前来一发,这个视频还是挺完美的。 Anthropic的应用AI工程师Margot Van Laa…

精选理由

Anthropic工程师手把手教你怎么调客服提示词和搭Agent,用Opus加循环拆解比堆复杂指令更管用,核心就一句话:先搞评估

AI 摘要

Anthropic工程师Margot Van Laar在Code with Claude分享提示词工程最佳实践,强调通过评估(Eval)而非直接修改提示词来优化。她用客服机器人和零售排班两个案例演示:使用XML标签结构化提示词、移除旧模型遗留的禁止列表(如Claude 3 Opus)、用工具替代指令处理计算任务。拆解复杂任务为生成-评估-修复循环,并建议用更强推理模型(如Opus)加自适应思考替代小模型复杂提示词。

原文 · berryxia

睡前来一发,这个视频还是挺完美的。 Anthropic的应用AI工程师Margot Van Laa…

睡前来一发,这个视频还是挺完美的。

Anthropic的应用AI工程师Margot Van Laar在Code with Claude分享了提示词工程的实战手册。

核心观点是:我们很少从零写提示词,大部分时间都在调试和维护已有的生产提示词。

最好的起点永远是评估(Eval),而不是直接改提示词。

她用两个真实场景演示了最佳实践:

1. 维护已有提示词**(客服机器人)

- 先做通用清理:用XML标签结构化(角色/政策/语气/指南分开)、移除冗余补丁、明确输出格式。

- 常见陷阱:以前为旧模型加的“禁止列表”指令,在新模型上会过度拟合,导致模型隐瞒它其实能提供的信息。

- 当模型需要做精确计算时,指令没用,要给它工具。

- 升级/转人工的决策,要把代价和收益两面都说清楚,否则模型会过度优化某一边。

2. 从零构建新Agent(零售排班)

- 单一复杂提示词容易失败。

- 更好的方式是拆成生成-评估-修复循环,让三个简单提示词各司其职。

- 模型选择很重要:更强的推理模型(Opus)+ 自适应思考,往往比小模型+复杂提示词更高效。

她反复强调:评估是唯一能告诉你改动是否真正有效的严谨方式。

没有评估,就只是在碰运气。