十年AI研究可重复性分析:56800篇论文揭示文档实践改进

The embrace of open science: An analysis of a decade of AI research and 56 800 conference papers

精选理由

这篇论文用56800篇数据告诉你,AI研究的可重复性在过去十年大幅提升,代码共享从11%涨到64%,而且不是靠强制清单推动的。

AI 摘要

该研究分析了2014至2024年间五大顶级AI会议发表的56800篇论文,评估其文档实践。结果显示,代码和数据共享比例从11%增至64%,增长了近六倍。基于文档实践推断的可重复性从28%提升至64%。这些改进在可重复性检查清单引入之前就已开始,反映的是开放科学趋势而非形式要求。

AI 翻译 · 中文

该研究分析了2014至2024年间五大顶级AI会议发表的56800篇论文,评估其文档实践。结果显示,代码和数据共享比例从11%增至64%,增长了近六倍。基于文档实践推断的可重复性从28%提升至64%。这些改进在可重复性检查清单引入之前就已开始,反映的是开放科学趋势而非形式要求。

arXiv cs.AIThe reproducibility crisis has directed the AI research community toward improving documentation practices. Several studies have identified methodological issues, and in response, the most impactful venues in the field h