7月1日
10:40
10:40官方账号arXiv cs.AI@Yuqing Yang, Qi Zhu, Zhen Han, Boran Han, Zhengyuan Shen, Shuai Wang, Vassilis N. Ioannidis, Huzefa Rangwala
这篇论文首次系统评估了大型语言模型在表格任务中的数据引用错误(DRE),覆盖1.7B到20B参数的各种模型。实验发现所有测试模型均存在DRE。通过基于批评模型的过滤和拒绝采样,答案准确率最高提升12.0%。作者训练了一个轻量级4B参数批评模型,在检测分布内和分布外DRE时平均F1达78.2%,并能有效辅助更大模型推理。
推荐理由:论文系统测量了LLM读表格犯数据引用错误的频率,还训练了个4B批评模型能查出这些错,推理准确率提升12%。适合做表格推理的开发者看。