可重复性相关 AI 资讯

8月5日

12:09

官方账号arXiv cs.LG@Mohsen Hariri, Weicong Chen, Nahal Shahini, Vikash Singh, Kai Ye, Amirhossein Samandar, Debargha Ganguly, Sreehari Sankar, Yanyan Zhang, Shouren Wang, Jerry Peng, Biyao Zhang, Michael Hinczewski, Vipin Chaudhary

这篇论文将测试时缩放形式化为自回归模型隐式前缀树上的预算推理，区分单轨迹连续缩放、叶级缩放和前缀级缩放三种结构。论文提出评估轮廓，将端到端系统性能与候选库诊断分离，并指定推理协议的可重复性要求，区分精确重放与分布可复现。作者在广泛知识、符号推理和竞赛数学基准上应用这些原则，并组装了超过20亿条完整推理轨迹供发布。

论文测试时缩放推理模型评估方法

推荐理由：这篇论文把测试时缩放拆成三种结构，还给了评估和复现规范，做推理模型的人可以参考。

原文

6月17日

10:46

官方账号arXiv cs.AI@Shanda Li, Qiuhong Anna Wei, Jingwu Tang, Valerie Chen, Nihar B Shah, Tim Dettmers, Yiming Yang, Ameet Talwalkar

ReproRepo是一个可扩展的框架，利用GitHub Issues作为监督信号来评估LLM在可重复性审计中的能力。研究基于1149篇近期机器学习论文，测试了四种前沿智能体配置。最佳配置Codex with GPT-5.5能识别约90%论文的至少一个语义相关的真实可重复性问题。分析表明智能体擅长发现表面故障和语义区域，但精确定位仍不足。代码已开源。

论文 ReproRepo GPT-5.5 Codex

推荐理由：这篇论文提出了一个可扩展的框架，用GitHub Issues来测试LLM智能体找论文代码的复现问题，比现有手动基准好很多，值得看。

原文

6月16日

12:53

官方账号arXiv cs.AI@Kevin L Coakley, Thijs Snelleman, Holger Hoos, Odd Erik Gundersen

该研究分析了2014至2024年间五大顶级AI会议发表的56800篇论文，评估其文档实践。结果显示，代码和数据共享比例从11%增至64%，增长了近六倍。基于文档实践推断的可重复性从28%提升至64%。这些改进在可重复性检查清单引入之前就已开始，反映的是开放科学趋势而非形式要求。

论文可重复性 AI研究开源科学

推荐理由：这篇论文用56800篇数据告诉你，AI研究的可重复性在过去十年大幅提升，代码共享从11%涨到64%，而且不是靠强制清单推动的。

原文

6月12日

10:50

官方账号arXiv cs.AI@Tobias Holtdirk, Pietro Marcolongo, Anna Steinberg Schulten, Felix Henninger, Stefan Rose, Sarah Ball, Bolei Ma, Frauke Kreuter, Markus Weinmann, Stefan Feuerriegel

社会科学和行为科学中的可重复性评估通常依赖独立研究人员重新分析原始数据，成本高且难以规模化。本研究使用 76 篇已发表研究，让 LLM 自动生成分析并与原始结果及人工再分析对比。结果显示，LLM 在 41% 的研究中恢复了原始效应量（Cohen's d 容忍度 ±0.05），而人工再分析仅为 34%；在定性结论一致性上，LLM 达到 96%，人工为 74%。这表明 LLM 可作为可扩展的自动化可重复性评估工具，为系统审计实证结果奠定基础。

论文 LLM 可重复性社会科学

推荐理由：社会科学研究者终于有了低成本的重复性验证工具——LLM 比人工更高效且更一致，做元分析或期刊审稿的团队可以直接用这套方法。

原文

5月14日

13:26