LLM-as-a-Judge 在医疗领域的应用与人类对齐性分析

这篇综述系统分析了 LLM-as-a-Judge 在医疗领域的应用现状，涵盖临床决策支持、自然语言处理、医学问答和医疗沟通等场景。研究检索了 2023 年 1 月至 2026 年 2 月的 541 篇文献，最终纳入 134 项研究。OpenAI 模型是最常用的评判者，提示工程几乎出现在所有研究中，集成、多智能体和检索增强设计是常见扩展。在报告人类验证的研究中，LLM 评判者与专家判断呈现中等到强对齐，但可靠性因任务而异。该综述认为 LLM-as-a-Judge 是可扩展的医疗 AI 评估框架，但其临床价值取决于模型设计和严格验证。