AITOPAI热报
Event ·Single source

Jerry Liu谈基准测试分类：前沿智能与专用智能各有侧重

LlamaIndex 创始人 Jerry Liu 提出基准测试可分为两类：一类是 TerminalBench、GDPval 这类衡量前沿智能的基准，准确率优先于成本；另一类是衡量专用智能的基准，重点看成本与准确率的帕累托曲线。他指出前沿模型在高算力档位上往往已能在第二类基准上饱和，但价格让人难以接受。LlamaIndex 为文档任务自建了 ParseBench 和 ExtractBench，并推出更难的 ExtractBench Pro，开始同时投入两类基准的研究。

Current read

LlamaIndex 创始人把基准分成两类讲得很清楚，还解释了为啥自家要做 ParseBench 和 ExtractBench，做文档处理的可以看看怎么给自己选基准。

2 sources27° AI heatLast updated 2026/11/4 01:14:06

Evidence

2 sources
Related source 1Ethan Mollick
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

Open the story