OpenAI 发布 MedChemBench,99 道题测 AI 药物化学推理能力
OpenAI 推出 MedChemBench 基准,评估 AI 辅助药物研发能力
OpenAI 拿 117 篇论文和专利出了 99 道药物化学题,测下来 GPT-6.2 Astra 拿 84.5%,但化合物筛选和性质预测只有一半分。做药物研发或分子设计的人可以看看模型到底强在哪、弱在哪。
OpenAI 于 11 月 20 日发布 MedChemBench 基准,用于评估 AI 模型在药物化学研究中的推理能力。该基准包含 99 道题目,取自 117 篇论文与专利,涉及 761 个不同分子结构,考察分子结构重建、科学解释、化合物排序选择和性质预测四个方面。
成绩方面,在 xhigh 推理档下,GPT-6.2 Astra 获得可用分数 84.5%,GPT-6 Astra 为 83.3%,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 为 58.2%。分项看,GPT-6.2 Astra 在分子结构部分拿到 95.4%,但在化合物选择与数值性质预测两项仅约一半分数。官方举例中,一道组装含 18 原子环的分子题目,GPT-6 Astra 十次回答全部正确,GPT-5.6 Sol 十次全部出错。
OpenAI 同时指出局限:基准基于历史证据而非真实药物发现,不能确定模型能否发现新药或改善实验室决策,且不能排除模型接触过已发表资料的可能。目前模型在化合物筛选和数值性质预测上仍有明显提升空间。
OpenAI 推出 MedChemBench 基准,评估 AI 辅助药物研发能力
IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布 MedChemBench 基准,用于评估 AI 模型在药物化学研究中的推理能力,包括识别分子结构、解读实验结果、比较化合物及预测其性质等。OpenAI 表示,模型在重建分子结构和解释实验依据方面表现较强,但在化合物筛选和数值性质预测方面仍有明显提升空间。 IT之家从官方介绍获悉,该基准包含 99 道题目 ,取自 117 篇论文与专利,涉及 761 个不同分子结构。多数题目向模型提供研究进行到某一节点时的上下文,包括生物靶点、研究人员的目标、此前研究过的化合物与部分实验结果。 官方将评测分为四个部分,IT之家附具体内容如下: 分子结构:依据题目给出的结构图与化学基团组装分子,考察原子连接与立体化学是否正确; 科学解释:解释需由给定证据支撑,例如为何在若干化合物中选择某一个; 排序与选择:化合物排序与最终选择是否符合题目要求; 性质预测:与原始材料给出的数值、类别是否一致,涵盖实测与计算得到的分子性质。 据官方公布信息,在 xhigh 推理档下,GPT-6.2 Astra 获得 84.5% 的可用分数,GPT-6 Astra 为 83.3%,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 为 58.2%。官方称,提高推理档位可带来分数提升,但模型之间的差距依然明显。 分项表现上,Astra 在 xhigh 档的分子结构部分拿到 95.4% 的可用分数,而在化合物选择与数值性质预测两项上仅获约一半分数。 官方举例称,一道题目要求模型以给定中心结构与两个侧基组装分子,并保留一个 18 原子环。 在 11 个模型共用的 xhigh 档下, GPT-6 Astra 的十次回答全部正确 ;GPT-5.6 Sol 与 GPT-5.6 Luna 十次全部出错,前者组装出的环只有 15 个原子,后者把分子拆成两个互不相连的片段。 另一道题取材于 PRMT5 抑制剂研究,PRMT5 是肿瘤药物研发中受到关注的蛋白。模型需要预测三种相关化合物在细胞内阻断 PRMT5 的强度、穿过细胞屏障的难易,以及在实验室检测中被肝酶降解的速度。 官方在题目中隐去的后续实验显示存在取舍:化合物 23 在更低浓度下即可在细胞内阻断 PRMT5,化合物 24 更易穿过细胞屏障,在肝酶检测中的降解速度也更慢。 官方表示, 这些结果并不能确定模型是否能够发现新药或改善实验室决策 。不能排除之前接触过已发表资料的可能性,每一次回应都是一次没有工具、没有反馈或新实验的尝试。虽然基准测试基于历史证据而非真实药物发现,其结果有助于识别模型在哪些方面进展,哪些仍面临挑战。团队相信 MedChemBench 将支持持续的进步,并期待随着模型的进步与应用领域分享最新进展。
This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include OpenAI, MedChemBench, GPT-6.2 Astra, medicinal chemistry.
Source attribution: curated from IT之家.