AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：实证研究×
6月17日
10:35
6月16日
20:46
6月12日
12:57
10:50
10:50arXiv cs.AI@Tobias Holtdirk, Pietro Marcolongo, Anna Steinberg Schulten, Felix Henninger, Stefan Rose, Sarah Ball, Bolei Ma, Frauke Kreuter, Markus Weinmann, Stefan Feuerriegel
社会科学和行为科学中的可重复性评估通常依赖独立研究人员重新分析原始数据，成本高且难以规模化。本研究使用 76 篇已发表研究，让 LLM 自动生成分析并与原始结果及人工再分析对比。结果显示，LLM 在 41% 的研究中恢复了原始效应量（Cohen's d 容忍度 ±0.05），而人工再分析仅为 34%；在定性结论一致性上，LLM 达到 96%，人工为 74%。这表明 LLM 可作为可扩展的自动化可重复性评估工具，为系统审计实证结果奠定基础。
论文LLM可重复性社会科学自动化评估实证研究
推荐理由：社会科学研究者终于有了低成本的重复性验证工具——LLM 比人工更高效且更一致，做元分析或期刊审稿的团队可以直接用这套方法。
原文
6月11日
15:28
15:23
15:07
6月8日
09:31
09:31shao__meng@shao__meng
精选76°
一篇大规模实证研究评估了仓库级上下文文件（如 AGENTS.md、CLAUDE.md）对编码 Agent 任务完成率的影响。实验覆盖 SWE-bench Lite 和新建 AGENTBENCH 两个基准，测试了 Claude Code、Codex、Qwen Code 等四种 Agent。结果显示，LLM 自动生成的 context file 在多数设置下导致成功率下降（平均 -0.5% 至 -2%），开发者手写的仅提升 +4%，但步数和成本增加 20% 以上。轨迹分析表明 Agent 会过度执行 context file 中的建议性流程，增加复杂度却未提升成功率。当仓库文档齐全时，context file 与现有文档高度冗余，反而可能有害。
技巧Coding AgentAGENTS.md上下文文件SWE-bench实证研究
推荐理由：这篇论文戳破了 AGENTS.md 的神话——自动生成不仅没用还更贵，手写提升也有限。做 Coding Agent 工具或维护大型仓库的团队，看完会重新评估是否值得投入 context file。
原文