Parallel 开源搜索评测框架,量化模型接入搜索后的真实提升
Parallel 开源了 parallel-search-evals,一个用于评测模型使用搜索工具能力的框架,采用 MIT 许可。核心方法是让同一个模型分别在关闭工具和允许搜索的条件下答题,再比较结果差异。公开榜单显示,接入搜索后模型平均提高 34.4 分,其中 Claude Fable 5.2 以 80.1 的综合分领先,而达到中位数以上的模型中 GPT-6.1 Terra 成本最低,每千道任务约 43.7 美元。 框架在技术上对评测流程做了严格控制:每次运行固定一个模型、一套题目和一种搜索模式,支持 turbo、fast、basic、advanced 四种搜索模式加无工具基线。模型可调用两个工具——Search 返回最多 10 条附带正文摘录的结果,Extract 从最多 20 个指定网址提取内容,每题最多 20 次工具调用、25 轮研究。参考答案只交给评分器,不进入答题过程,评分使用 GPT-6 Sol,因此衡量的是模型选择工具、获取证据、形成答案的整体能力,而不只是搜索接口质量。 项目支持 OpenRouter 以及 OpenAI、Anthropic、Google 原生接口,题目集、Agent 执行流程和评分器相互分离,开发者可以替换问题、参考答案和评分规则来测试自己的业务问题。目前内置 DeepSearchQA 和 Humanity's Last Exam 的纯文本题,仓库还附带供 Claude Code、Codex 使用的技能说明。对开发者来说,这套框架回答的是哪些模型更善于使用这套搜索工具,而不是所有搜索服务之间的排名。
Current read
做搜索类 Agent 的开发者可以拿它当标尺:同一模型开关搜索对比跑分,还能换成自己的业务题。榜单数据有意思——Claude Fable 5.2 分最高,GPT-6.1 Terra 最省钱,选型时两个维度都得看。
Evidence
11 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.