Primary sourceJerry Liu
View sourceEvent ·Multi-source
LlamaIndex 发布 ParseBench-2:覆盖 6 大维度的文档解析基准
LlamaIndex 创始人 Jerry Liu 发布博客,阐述构建文档解析基准的 6 项设计标准:代表性数据、粒度、可量化、可重复、可控、与人类判断对齐,并回顾了从静态确定性指标到 LLM-as-a-judge 两类历史方案的缺陷。 团队上周推出 ParseBench-2,包含 4,317 页测试数据,覆盖表格、图表、版式、格式、文本和表单 6 个维度,其中 1,025 张图表配有完整参考表。评分方式改为先确定各类错误应占的权重,再通过 330 种扰动类型测试和调校评分,使其与人类判断一致。基准还提供 Metric Lab,用户可针对自身工作负载设置评分优先级。 博客坦承 ParseBench-1 的失误:曾在一份 McDonald's 财务报表上,给把金额数字断行的解析器打出高于完全解析正确的解析器的分数。该基准此前已被 NVIDIA、Cohere 和 Perplexity 引用,团队表示会快速迭代标注和指标质量。
Current read
做 RAG 或文档处理的人应该看看这个。LlamaIndex 的 ParseBench-2 把 6 个维度的解析错误拆开量化,还给了 Metric Lab 让你按自己的业务调评分权重,比传统确定性指标和 LLM 评委都更贴近真实判断。
11 sources43° AI heatLast updated 2026/11/19 17:34:16
Evidence
11 sourcesRelated source 1TestingCatalog
View sourceRelated source 2Replit
View sourceRelated source 3kimmonismus
View sourceRelated source 4IT之家
View sourceRelated source 5NVIDIA
View sourceRelated source 6The Information
View sourceRelated source 7CoreWeave
View sourceRelated source 8@cb_doge
View sourceRelated source 9OpenBMB
View sourceRelated source 10Detik Inet
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.