AITOP

科学推理

共 7 条相关 AI 资讯
8月11日
11:45
11:45官方账号arXiv cs.AI@Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao
Sci-VBench 是一个评估科学领域视频生成的新基准，包含 1,253 个专家标注示例，覆盖 60 个主题和四个学科。该基准要求模型生成具有科学推理和知识基础的视频，而非仅表面视觉合理性。研究显示，非专家评估者和 MLLM-as-Judge 系统与专家判断有较高一致性。对 16 个模型的测试发现，自动感知质量分数相近，但提示接地和科学因果正确性差异显著，且专有模型与开源模型差距明显。这表明视觉真实性的进步尚未转化为对科学和因果动态的可靠建模。
论文Sci-VBench视频生成科学推理
推荐理由：想知道视频生成模型在科学推理上有多靠谱？这个新基准测了 16 个模型，发现视觉好看不等于科学正确，专有和开源差距不小。
原文
7月21日
10:55
10:55官方一手arXiv: DeepSeek@Mingqiao Mo, Yunlong Tan, Hao Zhang
精选
SFC是一种基于共形预测的图结构框架，用于自纠正科学生成中的事实性错误。在PhyX多模态物理基准上，SFC达到50.1%的准确率，超过DeepSeek-R1(49.8%)和GPT-4(45.8%)。该框架以91.7%的科学有效性提供形式化共形覆盖保证（置信水平α=0.10），并将科学定律违规率降低73%。SFC通过原子绝对一致事实单元和近似可推导图建模逻辑依赖，在检测到科学违规时动态分支到替代生成路径。
AI模型SFC共形预测科学推理
推荐理由：想做可靠的科学生成？SFC框架让模型一边写一边用共形预测校验事实，结果比DeepSeek和GPT-4都准，还能少犯73%的科学错误。
原文
6月18日
10:57
10:57官方账号arXiv cs.AI@Siyi Gu, Jialin Chen, Sophia Zhou, Arman Cohan, Rex Ying
提出Rubric-Conditioned Self-Distillation框架，用评分标准替代标量奖励，提供token级指导。方法分两步：先学习生成任务级评分标准，再训练评分标准引导的推理器。在多个科学推理基准上平均超越GRPO 1.0分、OPSD 0.9分。避免了单一参考推理链的噪声和标量奖励的模糊性。
AI模型Rubric-Conditioned Self-Distillation推理模型自我蒸馏
推荐理由：想提升推理模型训练效果？这篇用评分标准做细粒度自蒸馏，比GRPO和OPSD都强，实验扎实。
原文
04:41
6月12日
09:48
09:48官方一手arXiv: DeepSeek@Pierre Beckmann, Marco Valentino, Andre Freitas
精选
SciR 是一个新的科学推理基准，专门评估大语言模型在科学场景下的演绎、归纳和因果推理能力。它通过从形式化对象（如演绎树、归纳规则假设、因果图）生成任务，确保答案可验证，再渲染成多文档科学文本。该基准独立控制两个难度轴：信息提取难度和推理本身难度，从而揭示模型在不同维度上的表现差异。测试六个模型后发现，两个难度轴都会降低模型性能，且效果叠加，即使是神经符号管道也受渲染影响。推理模型如DeepSeek-R1主要在推理轴上优于非推理指令模型。
论文科学推理LLM评估基准测试
推荐理由：做LLM评估和科学推理研究的团队终于有了一个能独立控制提取与推理难度的基准，可以精准诊断模型短板。想了解自家模型在科学推理上到底弱在哪，建议直接看这篇。
原文
5月28日
11:36
11:36官方一手arXiv: OpenAI@Ian Diks, Harihara Muralidharan, Tim Proctor, Kenny Workman
精选
研究人员推出 SpatialBench-Long 基准测试，专门评估 AI 智能体在空间生物学中的长程科学推理能力。该基准包含 24 个评估任务，涵盖胰腺癌、胶质母细胞瘤、肺癌等多种疾病模型，涉及 CosMx、Visium、Xenium 等多种空间转录组学技术。任务要求智能体从原始或近原始数据中恢复生物学结论，而非执行预设分析流程。当前最佳模型（Gemini 3.5 Flash、GPT-5.5 等）在 72 次运行中仅完成 8 次（11.1%），表明该任务极具挑战性。该基准通过确定性评分和专家审查确保结果可靠性。
论文空间生物学基准测试AI智能体
推荐理由：空间生物学研究者终于有了衡量AI科学推理能力的硬核基准——SpatialBench-Long 要求智能体从复杂空间数据中推导真实结论，而非简单跑流程。做生物信息学或AI for Science的团队，值得看看当前模型的表现差距在哪里。
原文
5月26日
12:21
12:21官方账号arXiv cs.LG@Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro
精选72°
研究人员推出了DiscoverPhysics基准，通过让LLM代理在22个物理规则偏离现实的模拟世界中自主发现运动定律，来评估其科学推理能力。每个世界由N体模拟器按需生成，代理需设计多轮实验、观察原始轨迹数据，并提交自然语言解释和Python实现。测试发现，最强模型仅能通过一半世界，尤其在需要发现隐藏结构时失败；开源模型在实验设计和结论提取上显著落后于商业模型。该基准揭示了预测准确性与解释质量之间的差距，强调假设修正和实验设计对概念理解的重要性。
论文科学推理LLM评估物理模拟
推荐理由：这个基准直击LLM科学推理的软肋——从数据中归纳规律而非回忆知识，做AI评估或科学模拟的团队值得关注，它暴露了当前模型在长程推理和实验设计上的真实短板。
原文