Event ·Multi-source

OpenAI 发布 MedChemBench:药物化学基准,GPT-6.2 Astra 得分约 84%

OpenAI 发布了药物化学基准 MedChemBench。题目来自 117 篇论文和专利,覆盖 761 个已评分的分子结构,并扣留研究者后续报告的实验结果作为答案。每个 prompt 停在一个真实的决策点,提供生物靶点、已合成的化合物和部分实验测定结果。表现最好的模型 GPT-6.2 Astra 总分约 84%,在读化学结构方面接近满分,但在真正关键的合成决策上正确率只有一半左右。 MedChemBench 的设计思路是把题目锚定在真实研究过程里:模型先读懂已有的化学证据,再对下一步该做什么做出判断。测试通过隐藏论文中后来才公布的结果,避免了模型靠记忆背答案,从而更接近真实研发场景中的信息不对称状态。分数结构也刻意区分了两种能力——读取和解释化学信息是一回事,在不确定条件下做出合成路线决策是另一回事。 对制药和 AI 从业者来说,这个基准提供了一个可比较的标尺:即便最强模型在解读层面接近完美,决策层面的约 50% 正确率说明药物化学的自动化决策仍远未达到可直接依赖的水平。

Current read

OpenAI 拿 117 篇论文和专利的 761 个分子出了个药物化学基准,还把实验结果藏起来防背题。GPT-6.2 Astra 读化学接近满分,但关键决策只有一半对。做药物研发或想评估模型科学能力的人可以看看题目设计。

11 sources53° AI heatLast updated 2026/11/20 21:17:59

Evidence

11 sources
Primary sourcerohanpaul_ai
View source
Related source 1thsottiaux
View source
Related source 2kimmonismus
View source
Related source 3掘金本周最热
View source
Related source 4Greg Brockman
View source
Related source 5Artificial Analysis
View source
Related source 6Bindu Reddy
View source
Related source 7lmarena.ai
View source
Related source 8WeAreLegora
View source
Related source 9OpenAI Blog
View source
Related source 10coderabbitai
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.