MADQA

product · First seen 2026-10-07 · Last seen 2026-10-27 · 5 mentions

Overview

MADQA 是一个用于评估检索模型在真实文档问答场景中表现的多模态基准,共包含 500 个问题、覆盖约 800 份 PDF 文档,被业内视为衡量检索器(retriever)检索质量的重要参考。2026 年 10 月 7 日,Perplexity 发布并开源的嵌入模型 pplx-embed-v2-late 在该基准上取得 92.4% 的成绩,成为目前所有已评测检索器中的最高分,这也是 MADQA 近期受到关注的主要契机。

MADQA 基准上的近期进展

  • Perplexity 发布嵌入模型 pplx-embed-v2-late,含 0.6B 边缘版和 9B 版:该模型提供两个尺寸,0.6B 版本面向边缘设备部署,9B 版本主打高精度场景,后者在 MADQA 上得分 92.4%,位居检索器榜首。
  • Perplexity 开源 pplx-embed-v2-late:9B/0.6B 多模态嵌入模型:CEO Aravind Srinivas 宣布模型开源,名称中的 "late" 暗示其采用延迟交互(late interaction)类检索架构,可同时处理文本与视觉信息。
  • On MADQA, 500 questions over 800 PDFs, it reaches 92.4%, the top result among retrievers.:Perplexity 官方强调该模型在 800 份 PDF 组成的评测集上达到 92.4% 的检索准确率,突出了对复杂版式文档的理解能力。
  • 当前焦点与观察点

    MADQA 的价值在于贴近真实使用场景:待检索对象是版式复杂、图文混排的 PDF,而非干净的纯文本,这考验嵌入模型的多模态理解与版面感知能力。pplx-embed-v2-late 的高分与其 "多模态嵌入" 的定位相互印证,也说明主流检索方案正从纯文本向量检索向文档原生理解演进。

    目前值得观察的点包括:一是 MADQA 作为独立基准的评测协议与第三方复现结果尚未充分公开,92.4% 的成绩暂时以厂商自述为主;二是 0.6B 边缘版与 9B 版之间的性能差距未见详细披露,实际部署时的性价比选择仍需自行验证;三是该模型采用的开源许可与商用条款,会直接影响其在 RAG 与企业搜索场景中的普及速度。对关注检索质量的团队而言,将 MADQA 纳入内部评测、与其他嵌入模型横向对比,是较为稳妥的做法。

    Coverage

    4 on file
    MADQA · AI 话题观测|AI热报