精选理由
做 LLM 评估的团队终于有了省 API 调用的思路——批量评估 50 条标准只需 1 次调用，成本直降 50 倍，建议做自动化评测的开发者点开看看。
LangChain 在一条推文中比较了两种用 LLM 作为评判者（LLM-as-judge）评估 50 条标准任务的方法：逐条评估（per-criterion）和批量评估（batch）。逐条评估为每条标准单独调用一次评判，共需 50 次 API 调用；批量评估则一次调用同时标注所有标准，仅需 1 次 API 调用，减少了 50 倍的 API 调用次数。两种方法使用相同的评估标准和输出，但批量评估在效率上显著提升。这对于需要大规模评估 AI 输出的开发者和团队来说，是一个重要的成本优化方向。
AI 翻译 · 中文
LangChain 在一条推文中比较了两种用 LLM 作为评判者（LLM-as-judge）评估 50 条标准任务的方法：逐条评估（per-criterion）和批量评估（batch）。逐条评估为每条标准单独调用一次评判，共需 50 次 API 调用；批量评估则一次调用同时标注所有标准，仅需 1 次 API 调用，减少了 50 倍的 API 调用次数。两种方法使用相同的评估标准和输出，但批量评估在效率上显著提升。这对于需要大规模评估 AI 输出的开发者和团队来说，是一个重要的成本优化方向。
@harvey We also looked at two ways to run LLM-as-judge on a 50-criterion task: 1️⃣ Per-criterion: 1 judge call for each rubric requirement. 2️⃣ Batch: 1 judge call + label every rubric requirement at once Same rubric. Sa…