Event ·Official first-hand

反事实审计:GPT、Claude、Gemini 等大模型在疼痛管理中未检出种族与性别偏见

一项发布于 arXiv 的反事实审计研究测试了 17 个大语言模型在疼痛管理中的种族与性别偏见,共 24 种配置,涵盖 OpenAI 的 GPT-4.1 mini 与 gpt-oss、Anthropic 的 Claude Haiku 4.5、Google 的 Gemini 2.5 Flash、Meta 的 Llama、DeepSeek 和 Qwen。Study 1 用 4 个开源模型评估 6 个急性疼痛病例,覆盖 4 个种族与 2 个性别的所有组合,与同种子下的白人男性参照组配对比较。 在单提示、JSON 约束任务下,Study 1 没有任何差异在校正后存活,Study 2 的 1,386 组比较全部未通过错误发现率校正;所有疼痛评分差异在 0-10 量表上等价于 1 分以内的零差异,238 组 Q-Pain 临床病例比较中 237 组差异不超过 0.25 分。阿片类药物决策的置信区间较宽(Study 1 不能排除约 20 个百分点的差异),因此只能说明未检出差异,而非证明无差异。模型之间的差异远大于患者身份之间的差异:同一参照患者获得高剂量阿片类药物的比例在不同配置下从 6% 到 93% 不等。 研究建议临床 AI 公平性审计应做到每个种族使用多个姓名、按随机种子配对比较、报告噪声底限,并对每个实际部署配置单独测试。对医疗 AI 开发者与医院采购方而言,这项工作提供了可复用的审计方法框架,也提示部署配置本身(服务软件、精度、推理开关)可能是比患者身份更重要的变异来源。

Current read

17 个主流模型、1386 组配对比较的疼痛管理偏见审计,结论是没测出种族性别差异,但模型自身配置的波动大得惊人。做医疗 AI 评测或关心公平性审计方法的人,这篇的方法论细节很值得抠。

11 sources47° AI heatLast updated 2026/11/11 02:35:53

Evidence

11 sources
Primary sourcearXiv: DeepSeek
View source
Related source 2TestingCatalog
View source
Related source 3Rowan Cheung
View source
Related source 4OpenRouter
View source
Related source 8kimmonismus
View source
Related source 9lmarena.ai
View source
Related source 10Anthropic
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.