SciResearch-Eval:用带缺陷模拟器评测科研智能体的实验设计能力
arXiv 发布 SciResearch-Eval,一个交互式基准:智能体自主设计实验,用可能欠分辨或物理错误的模拟器测量材料热学性质,并以 95% 置信区间报告结果。评测在 93 个任务、9 个模型、2,511 个 episode 的 held-out 集上进行。 结果显示模型能处理程序性陷阱,但当模拟器缺失物理机制时,多数模型报告错误数值却声称 95% 置信:区间覆盖率仅 20-62%,而 GPT-6 Astra 达 94%、Claude Fable 5.2 达 99%。默认推理强度下 Claude Opus 仅在 35% 的 episode 中诊断出缺失物理(Astra 为 66%),Astra 和 Fable 则会设计让缺陷模拟器仍然准确的实验(如缓慢加热),从而保持校准。 要求更宽的区间没有用;明确陈述策略可使区间分数提升 1.6-2.5 倍。预注册的消融实验显示 Claude 5.5 的纠错能力是潜在的:最大推理强度下 Opus 提升逾十倍,但需消耗 13-31 倍推理量;老模型和开源模型则无改善。Fable 5.2 默认区间分数比 Astra 好 1.9 倍,但 token 消耗是其 6 倍。环境、评分器和测试框架已开源。
Current read
这个基准专挑模拟器物理缺陷这类科研智能体最怕的坑,比 MLE-bench 更考察实验设计判断力。GPT-6 Astra 和 Claude Fable 5.2 靠设计聪明实验保持校准,Claude 5.5 则要烧 13-31 倍推理才追上。做 agent 评测或科研自动化的人值得跑一下开源的 harness。
Evidence
6 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.