NumTrace 基准：审计金融分析师智能体的数字来源

arXiv 论文 NumTrace 针对金融分析师智能体生成的数字论断，审计其来源与财务语义。该基准包含 540 道题目，覆盖 2,163 份 SEC EDGAR 文件，首次覆盖 Form 13F 持股和 Item 402(i) 高管薪酬数据。基准对每个论断给出 value、binding、support 三项独立判定，用来识别“数字对但归属错”（RNWA）错误。审计 Claude Opus 5.5、GPT-6 Astra 和 DeepSeek-V4.1-Flash 三个智能体后发现，RNWA 错误占各自失败论断的 67.5%-81.8%，在 13F 联合申报组问题上约 91% 的论断通过数值检查，但通过 binding 检查的不足一半。