09:52
官方账号arXiv cs.AI@Aida Usmanova, Zangir Iklassov, Markus Leippold, Ricardo Usbeck
推荐理由：这篇论文对自动化事实核查系统进行了全面的跨基准评估，揭示了不同系统在不同领域的表现差异，对于理解自动化事实核查技术的局限性和改进方向具有重要意义。
跨基准评估
共 1 条相关 AI 资讯
8月27日
09:52
本研究评估了九种自动化事实核查系统，涵盖从随机基线到微调Transformer、零样本LLM和AVeriTeC 2025任务中排名前两位的系统，并在四个数据集上进行了测试。研究发现，在气候核查任务中，基于ClimateCheck的模型优于零样本LLM和AVeriTeC 2025系统，表明噪声证据会降低真实性预测；系统排名强烈依赖于领域和指标；用金标签替换检索到的证据可以提高模型的真实性准确性14-22个百分点，证实检索仍然是主要瓶颈。