MADQA 是一个用于评估检索模型在真实文档问答场景中表现的多模态基准,共包含 500 个问题、覆盖约 800 份 PDF 文档,被业内视为衡量检索器(retriever)检索质量的重要参考。2026 年 10 月 7 日,Perplexity 发布并开源的嵌入模型 pplx-embed-v2-late 在该基准上取得 92.4% 的成绩,成为目前所有已评测检索器中的最高分,这也是 MADQA 近期受到关注的主要契机。
MADQA 基准上的近期进展
当前焦点与观察点
MADQA 的价值在于贴近真实使用场景:待检索对象是版式复杂、图文混排的 PDF,而非干净的纯文本,这考验嵌入模型的多模态理解与版面感知能力。pplx-embed-v2-late 的高分与其 "多模态嵌入" 的定位相互印证,也说明主流检索方案正从纯文本向量检索向文档原生理解演进。
目前值得观察的点包括:一是 MADQA 作为独立基准的评测协议与第三方复现结果尚未充分公开,92.4% 的成绩暂时以厂商自述为主;二是 0.6B 边缘版与 9B 版之间的性能差距未见详细披露,实际部署时的性价比选择仍需自行验证;三是该模型采用的开源许可与商用条款,会直接影响其在 RAG 与企业搜索场景中的普及速度。对关注检索质量的团队而言,将 MADQA 纳入内部评测、与其他嵌入模型横向对比,是较为稳妥的做法。