生物医学问答领域终于有了一个关注可靠性而非单纯准确率的实用框架——HypothesisMed 让模型输出可解析、可审计,做医疗 AI 或临床决策支持的团队可以直接用这套管道评估自己的模型,避免模型自信犯错。
HypothesisMed 是一个针对生物医学多项选择题的推理时可靠性管道,通过结合直接提示、思维链、HypothesisMed-v3 提示和答案融合来提升模型输出的可解析性和可靠性。它引入 SPACE 标签(有效、不完整、矛盾)标记答案空间,并提供置信度信息。在 MedQA、MedMCQA 和 PubMedQA 上对 Qwen2.5-7B、Phi-4-mini、DeepSeek-R1-32B 和 BioMistral-7B 的评估显示,该管道在加权准确率上优于各模型的最佳基线,同时提高了解析覆盖率和 SPACE 覆盖率。例如,Phi-4-mini 的准确率从 0.4296 提升至 0.5192。但 SPACE 压力测试表明答案空间诊断仍具挑战,Qwen2.5-7B 的 SPACE 准确率仅为 0.3074。该工作的主要贡献不是追求通用 SOTA,而是提供了一个可复现的推理时框架,用于在结构化可靠性约束下评估生物医学问答模型。
HypothesisMed 是一个针对生物医学多项选择题的推理时可靠性管道,通过结合直接提示、思维链、HypothesisMed-v3 提示和答案融合来提升模型输出的可解析性和可靠性。它引入 SPACE 标签(有效、不完整、矛盾)标记答案空间,并提供置信度信息。在 MedQA、MedMCQA 和 PubMedQA 上对 Qwen2.5-7B、Phi-4-mini、DeepSeek-R1-32B 和 BioMistral-7B 的评估显示,该管道在加权准确率上优于各模型的最佳基线,同时提高了解析覆盖率和 SPACE 覆盖率。例如,Phi-4-mini 的准确率从 0.4296 提升至 0.5192。但 SPACE 压力测试表明答案空间诊断仍具挑战,Qwen2.5-7B 的 SPACE 准确率仅为 0.3074。该工作的主要贡献不是追求通用 SOTA,而是提供了一个可复现的推理时框架,用于在结构化可靠性约束下评估生物医学问答模型。
Biomedical question answering with large language models is commonly evaluated using answer accuracy, but answer accuracy alone does not indicate whether a model can produce parseable outputs, follow structured reliabili…