12:16
官方一手arXiv: DeepSeek@Heriberto Cuayahuitl, Grace Jang
精选
推荐理由：医疗 AI 终于有了真实场景的语音对话基准——111 小时医患对话数据，覆盖四种疾病，做医疗对话系统的团队可以直接拿来训练和测试模型。Claude Sonnet 4 在句子选择上领先，但所有模型都过度自信，这个发现值得关注。
大模型评估
共 1 条相关 AI 资讯
5月27日
12:16
研究人员发布了 MeDial-Speech，一个包含 111 小时真实医患对话的语音数据集，涵盖路易体痴呆、心力衰竭、肩痛和心绞痛四种疾病。该数据集来自机器人与患者、医生与患者的对话，旨在训练和评估用于医疗咨询的 AI 系统。论文还提出了一个基于句子选择的对话基准，测试了 GPT-5 mini、DeepSeek-V3 和 Claude Sonnet 4 三个大模型。结果显示 Claude Sonnet 4 在句子选择任务中准确率最高（手动转录 71.1%，自动转录 74.7%），但所有模型在概率预测上均过度自信。数据集对非商业用途免费开放。