论文精选

提示语言影响LLM诊断推理与准确性:英文优于法文

Prompting language influences diagnostic reasoning and accuracy of large language models

精选理由

医疗AI开发者需要注意:你的模型在非英语场景下可能掉链子,o3是唯一不受语言影响的例外。做多语言临床决策支持的团队,这篇论文值得细读。

AI 摘要

一项新研究评估了提示语言对大型语言模型临床诊断推理和最终诊断准确性的影响,比较了英文和法文下五个模型(o3、DeepSeek-R1、GPT-4-Turbo、Llama-3.1-405B-Instruct、BioMistral-7B)的表现。180个临床案例由两位医生使用18分量表评估,涵盖16个医学专科。结果显示,除o3外,其他四个模型在英文提示下表现更好,平均差异0.37-0.91分,差异体现在鉴别诊断、逻辑结构和内部有效性等多个推理维度。这表明提示语言仍是LLM临床性能的关键决定因素,对全球语言文化公平部署具有重要影响。

AI 翻译 · 中文

一项新研究评估了提示语言对大型语言模型临床诊断推理和最终诊断准确性的影响,比较了英文和法文下五个模型(o3、DeepSeek-R1、GPT-4-Turbo、Llama-3.1-405B-Instruct、BioMistral-7B)的表现。180个临床案例由两位医生使用18分量表评估,涵盖16个医学专科。结果显示,除o3外,其他四个模型在英文提示下表现更好,平均差异0.37-0.91分,差异体现在鉴别诊断、逻辑结构和内部有效性等多个推理维度。这表明提示语言仍是LLM临床性能的关键决定因素,对全球语言文化公平部署具有重要影响。

arXiv: DeepSeekLarge language models (LLMs) are increasingly explored for clinical decision support, yet most evaluations are conducted in English, leaving their reliability in other languages uncertain. Here we evaluate the impact of