05:46rohanpaul_ai@rohanpaul_ai精选Anthropic最新研究发现,AI智能体在编程任务中表现出色,但在生物学数据检索中可能失败。同一生物学数据请求,即使提示词不变,不同运行结果差异巨大。例如,在埃博拉序列任务中,Claude Sonnet 4一次返回106条序列,另一次返回15条,而正确答案是266条。这种不一致性会改变科学结论,如将疫情起源误判为1922年而非2014年。研究指出,添加可重复的检索工具能显著提升智能体的准确性和一致性。论文AI智能体生物学数据检索AnthropicClaude Sonnet 410 个信源在谈推荐理由:这项研究揭示了AI在科学数据检索中的致命短板,做生物信息学或依赖AI处理数据库的团队值得关注——重复检索工具可能是提升可靠性的关键。原文
12:16arXiv: DeepSeek@Heriberto Cuayahuitl, Grace Jang精选研究人员发布了 MeDial-Speech,一个包含 111 小时真实医患对话的语音数据集,涵盖路易体痴呆、心力衰竭、肩痛和心绞痛四种疾病。该数据集来自机器人与患者、医生与患者的对话,旨在训练和评估用于医疗咨询的 AI 系统。论文还提出了一个基于句子选择的对话基准,测试了 GPT-5 mini、DeepSeek-V3 和 Claude Sonnet 4 三个大模型。结果显示 Claude Sonnet 4 在句子选择任务中准确率最高(手动转录 71.1%,自动转录 74.7%),但所有模型在概率预测上均过度自信。数据集对非商业用途免费开放。论文医疗对话语音数据集大模型评估Claude Sonnet 4MeDial-Speech推荐理由:医疗 AI 终于有了真实场景的语音对话基准——111 小时医患对话数据,覆盖四种疾病,做医疗对话系统的团队可以直接拿来训练和测试模型。Claude Sonnet 4 在句子选择上领先,但所有模型都过度自信,这个发现值得关注。原文