09:04官方账号arXiv cs.LG@Samiha A. Ismail, Fan X. Chen, Ali Merali研究者设计了5个临床场景(麻醉、内科/家庭医学、急诊、产科),共184条MECE评分标准。GPT 5.4、Claude Opus 4.7、Gemini 3.1 Pro的平均rubric通过率分别为0.39、0.47、0.37。最关键的权重5标准通过率仅32.4-41.7%,而低权重(1)标准通过率80-90%。108个关键标准中52%未被任何模型满足。LLM自动评分器在92.8-94.7%的标注上再现专家判断。论文GPT 5.4Claude Opus 4.7Gemini 3.1 Pro临床推理rubric评估推荐理由:这篇论文告诉你当前最强模型在临床推理上有多弱:关键问题正确率不到一半,而简单问题却能答得很准。适合想了解模型真实局限的读者。原文
11:08官方账号arXiv cs.AI@Valentina Bui Muti, Eugénie Dulout, Ziquan Fu研究人员开发了一个流水线,将非结构化临床文本转换为符合HL7 FHIR R4标准的结构化数据,用于评估大语言模型在真实电子健康记录环境中的诊断推理能力。该流水线结合了分阶段LLM生成与术语验证修复,减少了幻觉代码,保证了结构一致性。基于此构建的MedCase-Structured数据集在82.5%的病例中成功生成有效FHIR数据。测试发现,LLM在结构化FHIR输入上的诊断准确率普遍低于纯文本输入,凸显了部署对齐基准测试的重要性。论文临床推理FHIR电子健康记录基准测试大语言模型推荐理由:这项研究解决了临床AI评估中数据格式不匹配的痛点,做医疗AI或临床决策支持的团队可以直接用这个数据集和流水线来测试模型在真实EHR环境下的表现。原文
12:13官方一手arXiv: OpenAI@Roberto Cruz, David Rey-Blanco精选研究者提出MDIA,一个由7个专科路由节点组成的多智能体临床推理图,在HealthBench Professional基准(525个病例)上,使用未微调的GPT-5.4-2026-03-05模型达到0.6272分,比OpenAI的ChatGPT for Clinicians高出3.72个百分点。性能提升主要来自系统架构设计,包括专科路由、多轮上下文保持、药物状态安全门控、站点过滤搜索、长度感知合成和引擎级可靠性。实验还发现,使用不同模型作为评分者时结果差异显著,例如Gemini 2.5 Pro评分时MDIA得分0.6585,表明评估需要多个独立评分模型。该研究证明,智能体临床基准性能既取决于基础模型,也取决于编排架构。论文多智能体临床推理HealthBenchGPT-5.4架构设计10 个信源在谈推荐理由:医疗AI开发者注意了:MDIA用架构设计而非提示工程就超越了专业临床模型,做临床决策系统的团队值得研究其7节点路由和药物安全门控设计。原文