10:57arXiv cs.AI@Siyi Gu, Jialin Chen, Sophia Zhou, Arman Cohan, Rex Ying提出Rubric-Conditioned Self-Distillation框架,用评分标准替代标量奖励,提供token级指导。方法分两步:先学习生成任务级评分标准,再训练评分标准引导的推理器。在多个科学推理基准上平均超越GRPO 1.0分、OPSD 0.9分。避免了单一参考推理链的噪声和标量奖励的模糊性。AI模型Rubric-Conditioned Self-Distillation推理模型自我蒸馏评分标准科学推理推荐理由:想提升推理模型训练效果?这篇用评分标准做细粒度自蒸馏,比GRPO和OPSD都强,实验扎实。原文
04:41OpenAI Blog(博客/媒体)OpenAI 发布了 LifeSciBench,这是一个由 10 位生命科学专家编写并经过独立审查的基准测试。该基准包含 30 个任务,覆盖文献综述、实验设计、数据分析等真实研究场景。初步测试显示,GPT-4o 在多数任务上优于其他模型,但所有模型在需要跨领域推理的任务中表现仍有显著差距。LifeSciBench 旨在为 AI 在科学领域的可靠性和安全性提供更严格的评估工具。AI模型OpenAILifeSciBench基准测试AI安全科学推理10 个信源在谈推荐理由:OpenAI 出了个新基准 LifeSciBench,专门测 AI 做生命科学研究的能力,比一般问答难多了,能看出模型哪里不行。原文
09:48arXiv: DeepSeek@Pierre Beckmann, Marco Valentino, Andre Freitas精选SciR 是一个新的科学推理基准,专门评估大语言模型在科学场景下的演绎、归纳和因果推理能力。它通过从形式化对象(如演绎树、归纳规则假设、因果图)生成任务,确保答案可验证,再渲染成多文档科学文本。该基准独立控制两个难度轴:信息提取难度和推理本身难度,从而揭示模型在不同维度上的表现差异。测试六个模型后发现,两个难度轴都会降低模型性能,且效果叠加,即使是神经符号管道也受渲染影响。推理模型如DeepSeek-R1主要在推理轴上优于非推理指令模型。论文科学推理LLM评估基准测试演绎推理因果推理推荐理由:做LLM评估和科学推理研究的团队终于有了一个能独立控制提取与推理难度的基准,可以精准诊断模型短板。想了解自家模型在科学推理上到底弱在哪,建议直接看这篇。原文
11:36arXiv: OpenAI@Ian Diks, Harihara Muralidharan, Tim Proctor, Kenny Workman精选研究人员推出 SpatialBench-Long 基准测试,专门评估 AI 智能体在空间生物学中的长程科学推理能力。该基准包含 24 个评估任务,涵盖胰腺癌、胶质母细胞瘤、肺癌等多种疾病模型,涉及 CosMx、Visium、Xenium 等多种空间转录组学技术。任务要求智能体从原始或近原始数据中恢复生物学结论,而非执行预设分析流程。当前最佳模型(Gemini 3.5 Flash、GPT-5.5 等)在 72 次运行中仅完成 8 次(11.1%),表明该任务极具挑战性。该基准通过确定性评分和专家审查确保结果可靠性。论文空间生物学基准测试AI智能体科学推理SpatialBench-Long推荐理由:空间生物学研究者终于有了衡量AI科学推理能力的硬核基准——SpatialBench-Long 要求智能体从复杂空间数据中推导真实结论,而非简单跑流程。做生物信息学或AI for Science的团队,值得看看当前模型的表现差距在哪里。原文
12:21arXiv cs.LG@Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro精选72°研究人员推出了DiscoverPhysics基准,通过让LLM代理在22个物理规则偏离现实的模拟世界中自主发现运动定律,来评估其科学推理能力。每个世界由N体模拟器按需生成,代理需设计多轮实验、观察原始轨迹数据,并提交自然语言解释和Python实现。测试发现,最强模型仅能通过一半世界,尤其在需要发现隐藏结构时失败;开源模型在实验设计和结论提取上显著落后于商业模型。该基准揭示了预测准确性与解释质量之间的差距,强调假设修正和实验设计对概念理解的重要性。论文科学推理LLM评估物理模拟实验设计基准测试推荐理由:这个基准直击LLM科学推理的软肋——从数据中归纳规律而非回忆知识,做AI评估或科学模拟的团队值得关注,它暴露了当前模型在长程推理和实验设计上的真实短板。原文