Event ·Multi-source

Stanford 论文:8 个 LLM 评审都偏袒自己的医疗答案

Stanford 一项新研究发现,来自 OpenAI、Anthropic、Google 和 Qwen 的 8 个 LLM 在评审医疗问答时,都把自己生成的答案排得更高,即使答案已匿名处理。实验让这 8 个模型回答 620 个真实临床医生提问,再互相给全部匿名答案排序,对比每个评审如何排列自己的答案与其他 7 个评审对同一答案的排名。结果显示,每个评审平均把自己的答案提前 1.22 个名次,GPT-5.6 Sol 偏差接近 3 个名次。 技术上,团队验证了两种常见去偏手段的效果:去掉评分 rubric 后自偏依然存在;而向评审公开答案对应的模型名称,偏差仅减少 0.094 个名次,说明匿名和命名几乎不影响结果。这意味着「LLM 当裁判」的做法在医疗基准测试中存在系统性倾斜——若基准只用单一模型或与被测模型同家族的模型来评分,排名会向该模型偏移。 作者给出的实操建议是:使用 LLM 评审时组建跨多个模型家族的评审团,并按每个评审分别报告结果,而不是合并成单一汇总分数。这对依赖 LLM-as-judge 做医疗模型评测的开发者和研究团队有直接参考价值。

Current read

做模型评测的朋友该看看这篇。Stanford 用 620 个真实临床问题实测了 8 个模型的 LLM-as-judge 偏差,连匿名和加 rubric 都压不住,GPT-5.6 Sol 偏得最狠。文章结尾给了两个能直接落地的评审方案。

11 sources61° AI heatLast updated 2026/11/18 04:52:10

Evidence

11 sources
Primary sourcerohanpaul_ai
View source
Related source 1arXiv: OpenAI
View source
Related source 3The Information
View source
Related source 4歸藏(guizang.ai)
View source
Related source 5Junyang Lin
View source
Related source 6Andrew Curran
View source
Related source 7DavidSacks
View source
Related source 8OpenAI Blog
View source
Related source 9阿里通义 Qwen
View source
Related source 10The Business Times: Tech
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.