AITOPAI热报
Papers

SciConBench 揭示前沿 AI 无法科学综合结论

Gary Marcus@GaryMarcus
Post
View the post
Why we picked it

这项研究直接戳破了 AI 作为科学家的泡沫，做科研或依赖 AI 进行文献综述的团队值得一看，避免被过度宣传误导。

Gary Marcus 转发了一项新研究，该研究提出了一个名为 SciConBench 的基准测试，包含 9.

Body

11k 个来自 Cochrane 系统评价的科学问题。测试发现，前沿 AI 智能体无法有效综合科学结论，这挑战了 AI 作为科学家的过度宣称。

该研究由 Manoel Ribeiro 等人完成，结果对 AI 在科学领域的可靠性提出了质疑。

Original · Gary Marcus

🚨Devastating to a lot of overclaims about AI as scientist. 🚨 Manoel @manoelribeiro New preprint! We introduce a new benchmark, SciConBench, with 9.11k scientific questions derived from Cochrane Systematic Reviews. We find evidence that frontier AI agents **cannot** synthesize scientific conclusions well. A thread 🧵 w/ @hayounggjung , @korolova & others 🔗 View Quoted Tweet📊 5 ⚡

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Papers" desk. Key entities and technical topics under continuous tracking include AI 科学家, SciConBench, 基准测试, 科学综合.

Source attribution: curated from Gary Marcus (@GaryMarcus).

#AI 科学家#SciConBench#基准测试#科学综合#Gary Marcus

Keep reading

Recent stories with the same tag or section
PapersBuildersOfficial15:27
Chinese content浙江大学推出 SpaceCast-Bench：最强视觉模型空间预测仅 58%，人类 87%

浙江大学这个新基准专挑 VLM 的痛点测：场景变了，模型能不能推出空间关系怎么变。结果 21 个模型里最强的只拿到 58%，人类是 87%。做机器人、具身智能或视频方向的同学可以用它来量化自家模型到底差在哪。

#SpaceCast-Bench#VLM#空间推理#基准测试
Primary sourcePandaily@[email protected] (Pandaily)Source
PapersBuilders15:04
Chinese contentCoReMem：为连续编码任务设计代价内化的记忆框架

arXiv上这篇论文解决了编码智能体记忆该存什么、什么时候用的问题。它把读写记忆的成本算进训练目标，在ChainSWE基准上让27B模型解决率从21.0%提到25.7%，还少走17%的步数。做智能体记忆或SWE agent的团队值得对比看看。

#CoReMem#编码智能体#ChainSWE#记忆机制
arXiv cs.AI@Peiwen Li et al. (9)Source
PapersPolicy15:03
Chinese contentSynthesis Smuggling：恶意 LLM 可将推断的用户隐私隐写进输出内容

两帮人做 LLM 安全的可以看看这个：作者训练了两个开源模型，能从聊天里推断你的性别和年龄段，再用不可见字符藏进生成的文本里。你把 AI 写的邮件发出去，隐私就跟着泄露了。做内容安全和隐私合规的人应该认真评估这类风险。

#LLM安全#隐写术#隐私保护#AI安全
arXiv cs.AI@Gautam Galada et al. (3)Source
PapersBuilders15:03
Chinese contentLiveGeo 基准发布：地理智能体在持续演化世界中的可靠性评测

这个基准把地理环境做成了会随时间变化的平台，智能体得主动查信息、验证旧结论还失效没失效。目前没有哪个前沿模型能全面搞定，做 Agent 评测和地理信息应用的开发者可以拿来测自己的方案。

#LiveGeo#GeoWorld#LLM智能体#基准测试
arXiv cs.AI@Pengcheng Zhou et al. (9)Source