AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：自动化评估×
6月16日
20:46
6月12日
12:57
10:50
10:50arXiv cs.AI@Tobias Holtdirk, Pietro Marcolongo, Anna Steinberg Schulten, Felix Henninger, Stefan Rose, Sarah Ball, Bolei Ma, Frauke Kreuter, Markus Weinmann, Stefan Feuerriegel
社会科学和行为科学中的可重复性评估通常依赖独立研究人员重新分析原始数据，成本高且难以规模化。本研究使用 76 篇已发表研究，让 LLM 自动生成分析并与原始结果及人工再分析对比。结果显示，LLM 在 41% 的研究中恢复了原始效应量（Cohen's d 容忍度 ±0.05），而人工再分析仅为 34%；在定性结论一致性上，LLM 达到 96%，人工为 74%。这表明 LLM 可作为可扩展的自动化可重复性评估工具，为系统审计实证结果奠定基础。
论文LLM可重复性社会科学自动化评估实证研究
推荐理由：社会科学研究者终于有了低成本的重复性验证工具——LLM 比人工更高效且更一致，做元分析或期刊审稿的团队可以直接用这套方法。
原文
6月11日
15:28
15:23
15:07
5月27日
10:07
10:07arXiv: OpenAI@Yashwardhan Chaudhuri, Sanyam Jain, Paridhi Mundra
精选
E3是一个自动化的论文评审助手，旨在帮助审稿人和工程团队识别论文中的技术问题。它能够报告问题的性质、位置、对贡献的影响以及解决所需的证据，涵盖未支持的声明、缺失的消融实验、弱基线、隐藏假设、有效性威胁和数据泄露风险。为了无污染地评估E3，研究采用了issue级回测协议：只使用训练截止日期后的论文，并由一个观察匿名评审的元法官标记每个问题来源对为“捕获”、“部分”或“遗漏”。在100篇ICLR 2026论文和4598个问题行的测试中，E3在所有聚合指标上实现了最高召回率，部分包含召回率达90.2%，比GPT高15.5个百分点，比Claude高17.1个百分点，比人类评审高29.2个百分点。E3还恢复了人类评审提出的89.6%的问题，并额外发现了1635个被人类遗漏的问题。
论文论文评审自动化评估回测协议ICLR 2026开源/仓库
推荐理由：E3解决了论文评审中遗漏关键技术问题的痛点，做学术评审或论文质量控制的团队可以直接用这套开源工具提升效率，建议点开看看具体实现。
原文