论文精选

SpatialBench-Long:评估AI在空间生物学中的长程推理能力

Verifiable Benchmarking of Long-Horizon Spatial Biology

精选理由

空间生物学研究者终于有了衡量AI科学推理能力的硬核基准——SpatialBench-Long 要求智能体从复杂空间数据中推导真实结论,而非简单跑流程。做生物信息学或AI for Science的团队,值得看看当前模型的表现差距在哪里。

AI 摘要

研究人员推出 SpatialBench-Long 基准测试,专门评估 AI 智能体在空间生物学中的长程科学推理能力。该基准包含 24 个评估任务,涵盖胰腺癌、胶质母细胞瘤、肺癌等多种疾病模型,涉及 CosMx、Visium、Xenium 等多种空间转录组学技术。任务要求智能体从原始或近原始数据中恢复生物学结论,而非执行预设分析流程。当前最佳模型(Gemini 3.5 Flash、GPT-5.5 等)在 72 次运行中仅完成 8 次(11.1%),表明该任务极具挑战性。该基准通过确定性评分和专家审查确保结果可靠性。

AI 翻译 · 中文

研究人员推出 SpatialBench-Long 基准测试,专门评估 AI 智能体在空间生物学中的长程科学推理能力。该基准包含 24 个评估任务,涵盖胰腺癌、胶质母细胞瘤、肺癌等多种疾病模型,涉及 CosMx、Visium、Xenium 等多种空间转录组学技术。任务要求智能体从原始或近原始数据中恢复生物学结论,而非执行预设分析流程。当前最佳模型(Gemini 3.5 Flash、GPT-5.5 等)在 72 次运行中仅完成 8 次(11.1%),表明该任务极具挑战性。该基准通过确定性评分和专家审查确保结果可靠性。

arXiv: OpenAIAI agents are increasingly useful for biological data analysis, but existing benchmarks mostly test broad biological knowledge, executable workflows, or localized analysis steps rather than end-to-end scientific reasonin