UniPat AI 推出 SPU 基准，AI 智能体预测真实湿实验室结果最高仅得 0.486
UniPat AI's SPU Benchmark Asks AI Agents to Predict Real Wet-Lab Results, and None Score Above 0.5
UniPat AI 拿 4207 个真实实验结果当考题，13 种智能体配置最高才考 0.486 分，基本等于瞎猜。比起刷数学题的排行榜，这个基准更能看出 AI 做科研的真实短板，做 AI4Science 的开发者应该跑一下自己的模型看看。
UniPat AI 发布了名为 SPU（Science Prediction Universe）的基准测试，要求 AI 智能体对 4,207 个真实湿实验室实验的结果进行排序判断。在测试的 13 种智能体配置中，表现最好的一组平均得分仅为 0.486 分（满分 1 分），没有任何配置超过 0.5。
这个基准的核心机制在于：题目全部来自真实实验记录，而不是教科书式的已知结论，智能体必须像科研人员一样根据实验条件预测反应产出、成功率等实际结果。得分采用排序准确度计算，智能体需要在多个候选实验结果中判断哪个更可能真实发生，这种设置直接对应科研中最耗成本的环节——在动手做实验之前筛选有希望的方案。
0.486 的成绩说明当前最强的智能体配置在这类科学预测任务上仍接近随机猜测水平。与常见的数学、编程类基准不同，SPU 直接以湿实验室数据作为评估锚点，能更诚实地反映 AI 在材料、化学、生物实验设计等真实科研场景中的短板。对想评估 AI 科研助手能力的研究团队来说，这套数据集提供了一个可复用的测试底座。
UniPat AI's SPU Benchmark Asks AI Agents to Predict Real Wet-Lab Results, and None Score Above 0.5
UniPat AI's SPU benchmark has AI agents rank the outcomes of 4,207 real wet-lab experiments. The best of 13 configurations averaged 0.486 out of 1.
This report is categorized under AITOP's "Models" desk. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include UniPat AI, SPU benchmark, AI Agent, AI for Science.
Primary source verification: published directly by pandaily with first-party authority.
