精选 AI 资讯 · AI 热点

arXiv: OpenAI@Lingyao Li, Deyi Li, Chen Chen, Renkai Ma, Runlong Yu, Mingquan Lin, Rui Yin, Lizhou Fan, Cathy Shyr, Siyuan Ma, Mei Liu, Steven Bethard

精选

这篇综述系统分析了 LLM-as-a-Judge 在医疗领域的应用现状，涵盖临床决策支持、自然语言处理、医学问答和医疗沟通等场景。研究检索了 2023 年 1 月至 2026 年 2 月的 541 篇文献，最终纳入 134 项研究。OpenAI 模型是最常用的评判者，提示工程几乎出现在所有研究中，集成、多智能体和检索增强设计是常见扩展。在报告人类验证的研究中，LLM 评判者与专家判断呈现中等到强对齐，但可靠性因任务而异。该综述认为 LLM-as-a-Judge 是可扩展的医疗 AI 评估框架，但其临床价值取决于模型设计和严格验证。

论文 LLM-as-a-Judge 医疗AI 评估框架临床决策支持人类对齐

推荐理由：医疗 AI 评估一直缺乏规模化手段，这篇综述系统梳理了 LLM-as-a-Judge 在临床场景的落地情况，做医疗 AI 开发或评估的团队可以快速了解当前方法的有效性和局限。

原文