背景：LLM-as-judge 是指利用大语言模型（LLM）作为评估者，对另一个模型生成的内容进行打分或判断，常见于模型对齐、RLHF 及自动化评测等场景。然而，其可靠性与适用性正受到越来越多的审视。
- 近期主要进展：
- 新颖性评估的幻象：研究（RQ-Bench 揭示“新颖性幻象”）指出，LLM-as-judge 在评估科学新颖性时表现不佳，容易将表面变体误判为真正创新，暴露出深层语义理解的短板。
- RL 后训练中的成本风险：有分析（RL 后训练中验证器成本可能放大）提示，使用 LLM-as-judge 作为验证器时，随着训练持续，评判成本可能非线性增长，需警惕资源放大效应。
- 评判方式的系统比较：LangChain 团队（对比两种评估方式）在 50 条标准任务上对比了不同 LLM-as-judge 策略，发现评判一致性与任务类型高度相关，建议根据场景选择具体方案。
- 结构化评判奖励的改进：新提出的 Rubric-Grounded RL 方法（结构化评判奖励实现泛化推理）将评判准则显式编码到奖励模型中，提升了泛化推理能力，为该范式提供了更可靠的实现路径。
当前焦点 / 未来观察点：LLM-as-judge 的能力边界与成本效益成为核心争议。一方面，在新颖性、创造性等高阶指标上其可靠性存疑；另一方面，RL 后训练中的验证器成本与评判一致性亟需标准化方案。未来趋势可能向结构化评判（如引入显式准则）和多模型交叉验证演进。