7月24日
09:39
09:39官方账号arXiv cs.AI@Mack Nixon, Liam Wright, Yevgeniya Kovalchuk, Alison Fang-Wei Wu, Martin Danka, Andy Boyd, David Bann
研究者提出开源框架RRBench,评估开源权重LLM驱动的AI代理在纵向人口研究数据准备中的效果。框架包括来自英国队列研究6轮数据的真实清洗脚本,以及20个数据准备任务(创建102个变量)。基准测试显示,31-35B参数模型平均任务完成度达87.9%,接近饱和。结果表明,消费级硬件上的开源模型为治理受限研究中的AI辅助数据准备提供了可行路径。
推荐理由:想知道开源模型做数据清洗行不行?这篇论文用真实研究数据测试了31-35B模型,近九成任务都能搞定,隐私保护场景也能用。