医疗 AI 终于有了真实场景的语音对话基准——111 小时医患对话数据,覆盖四种疾病,做医疗对话系统的团队可以直接拿来训练和测试模型。Claude Sonnet 4 在句子选择上领先,但所有模型都过度自信,这个发现值得关注。
研究人员发布了 MeDial-Speech,一个包含 111 小时真实医患对话的语音数据集,涵盖路易体痴呆、心力衰竭、肩痛和心绞痛四种疾病。该数据集来自机器人与患者、医生与患者的对话,旨在训练和评估用于医疗咨询的 AI 系统。论文还提出了一个基于句子选择的对话基准,测试了 GPT-5 mini、DeepSeek-V3 和 Claude Sonnet 4 三个大模型。结果显示 Claude Sonnet 4 在句子选择任务中准确率最高(手动转录 71.1%,自动转录 74.7%),但所有模型在概率预测上均过度自信。数据集对非商业用途免费开放。
研究人员发布了 MeDial-Speech,一个包含 111 小时真实医患对话的语音数据集,涵盖路易体痴呆、心力衰竭、肩痛和心绞痛四种疾病。该数据集来自机器人与患者、医生与患者的对话,旨在训练和评估用于医疗咨询的 AI 系统。论文还提出了一个基于句子选择的对话基准,测试了 GPT-5 mini、DeepSeek-V3 和 Claude Sonnet 4 三个大模型。结果显示 Claude Sonnet 4 在句子选择任务中准确率最高(手动转录 71.1%,自动转录 74.7%),但所有模型在概率预测上均过度自信。数据集对非商业用途免费开放。
Large Language Models (LLMs) have brought huge improvements to Artificial Intelligence (AI), which can be applied to general-purpose tasks. However, their application to textual or spoken medical consultations is still a…