10:46
arXiv cs.AI@Shanda Li, Qiuhong Anna Wei, Jingwu Tang, Valerie Chen, Nihar B Shah, Tim Dettmers, Yiming Yang, Ameet Talwalkar
推荐理由：这篇论文提出了一个可扩展的框架，用GitHub Issues来测试LLM智能体找论文代码的复现问题，比现有手动基准好很多，值得看。
全部 AI 动态
AI 相关资讯全量信息流
6月17日
10:46
ReproRepo是一个可扩展的框架，利用GitHub Issues作为监督信号来评估LLM在可重复性审计中的能力。研究基于1149篇近期机器学习论文，测试了四种前沿智能体配置。最佳配置Codex with GPT-5.5能识别约90%论文的至少一个语义相关的真实可重复性问题。分析表明智能体擅长发现表面故障和语义区域，但精确定位仍不足。代码已开源。
6月16日
20:46
AITOP6月16日 20:46
12:53
12:53
arXiv cs.AI@Kevin L Coakley, Thijs Snelleman, Holger Hoos, Odd Erik Gundersen
推荐理由：这篇论文用56800篇数据告诉你，AI研究的可重复性在过去十年大幅提升，代码共享从11%涨到64%，而且不是靠强制清单推动的。
6月12日
12:57
AITOP6月12日 12:57
10:50
10:50
arXiv cs.AI@Tobias Holtdirk, Pietro Marcolongo, Anna Steinberg Schulten, Felix Henninger, Stefan Rose, Sarah Ball, Bolei Ma, Frauke Kreuter, Markus Weinmann, Stefan Feuerriegel
推荐理由：社会科学研究者终于有了低成本的重复性验证工具——LLM 比人工更高效且更一致，做元分析或期刊审稿的团队可以直接用这套方法。
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
5月14日
13:26
13:26
arXiv cs.LG@Deepak Pandita, Flip Korn, Chris Welty, Christopher M. Homan
精选
推荐理由：做AI评估和模型安全测试的团队，终于有了量化标注者偏差的方法论——多级建模直接告诉你需要多少标注才能得到可靠结论，建议做实验设计的点开看看。