Event ·Official first-hand

FinVeriQA 开源多智能体金融问答系统:小模型路由、Python 计算、MCP 工具链

开源多智能体原型 FinVeriQA 针对 SEC 文件和实时行情构建金融问答流水线:紧凑决策模型 Laya 负责问题路由并拦截投资建议请求,所有数值由 Python 计算,Mistral-7B 生成带引用的回答,代码校验器核对引用 ID 与计算结果,整条链路通过 MCP 服务器对外暴露。 实测数据显示,Laya 路由准确率 0.85,高于 Mistral-7B 的 0.52(总体 0.86 对 0.68,McNemar p = 0.0003);Mistral-7B 在 100 道金融计算题上只算对 29%,Python 则全对;接入实时报价把价格误差从 210% 降到 0.00%,混合检索在 50 道文件问题上取得 76% Hit@5。 但案例研究暴露了关键问题:两个智能体回答都通过了校验,却把 AMD 的样本数据标成 NVIDIA 和 Alphabet。在 FinRank 基准上的对照实验解释了原因——证据被污染时自一致性仍保持高置信(一致性 0.55-0.59,准确率从 0.50 跌到 0.00),共享证据校验只能抓到 35% 错误,对照原始段落核查可抓到 77%(p = 5.96×10⁻⁸);DeepSeek-R1-8B 为 68% 对 90%。结论是:校验必须独立于写作模型看到的那份证据。

Current read

这篇把金融问答 Agent 拆成路由、计算、检索、写作、校验五步,用数字说话:小模型路由反而赢了大模型,Mistral-7B 算数只有 29% 正确率。做 RAG 或智能体的人该看看它的校验设计——证据自检靠不住。

11 sources39° AI heatLast updated 2026/11/18 19:13:45

Evidence

11 sources
Primary sourcearXiv: DeepSeek
View source
Related source 1NVIDIA AI
View source
Related source 5Nathan Lambert
View source
Related source 9The Information
View source
Related source 10Aravind Srinivas
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.