LLM Judges 是指用大语言模型来评估其他模型输出质量、判断答案对错或安全合规的自动评判技术，目前已从辅助工具演变为模型训练、基准测试乃至监管合规流程中的核心组件。随着 Agent 任务和测试时计算（test-time compute）越来越依赖可靠的自动验证，评判器的准确性、稳定性和可验证性成为行业关注焦点。
LLM Judges 近期进展
当前焦点与观察点
近期的讨论集中在三个方面。其一是可靠性验证：LLM judges 可能对同一问题给出不一致的安全判断，评判结论会随提示措辞或上下文漂移，因此基于黄金数据集的系统性校验正在成为标准做法。
其二是从结果评判转向过程评判。OSWorld-Pro 等工作将评估粒度从最终答案扩展到执行过程，要求评判器能逐步判定计算机操作 Agent 的行为是否合理，这对评判精度提出了更高要求。
其三是监管落地。在欧盟 AI 法案行为准则的背景下，出现了面向系统性风险证据的开源流水线与仪表盘，LLM judges 开始承担合规证据采集的角色，意味着其判断不仅影响模型迭代，也可能影响监管结论。总体来看，行业共识正在形成：自动评判不可直接采信，必须与人工标注、可溯源的验证机制配合使用。