Jason Wei：用 Claude 重新搜索后发现遗漏 36% 的基准评测
Jason Wei 自己维护的评测清单，让 Claude 再搜一遍就多挖出 36% 的 benchmark。做调研或评测追踪的人可以参考，同时也提醒我们：花哨网页和长 PDF 还是会漏，得人工补。
AI 研究者 Jason Wei 在 X 上表示，其维护的基准评测追踪清单的初版遗漏了大量评测项目。改用 Claude 进行更深入的搜索后，新版本多发现了 36% 的 benchmark 提及记录。他同时承认该方法仍有盲区：带有复杂 UI 元素的博客文章和长篇 PDF 中的评测信息依然难以被捕捉。他调侃称，或许需要为“创建基准评测”本身做一个基准评测。这条推文展示了大模型在信息检索类任务中作为研究助手的实际效果与局限。
对做评测追踪或文献调研的开发者来说，这条经验有两个直接参考点：一是让模型“搜索得更用力”（更长的 agentic 搜索）能显著提升召回率，36% 的增量说明单次检索远远不够；二是表格、动态 UI 和 PDF 仍是当前模型抓取信息的薄弱环节，需要人工兜底。
Turns out my initial version missed a lot of evals. Claude searched harder and found 36% more mentions of benchmarks: https://t.co/ONtgbBuwEs
It still misses blog posts with fancy UI elements, long PDFs, etc. Guess we need a benchmark for creating benchmark benchmark...
This report is categorized under AITOP's "How-to" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Claude, Jason Wei, benchmark, 提示词工程.
Source attribution: curated from Jason Wei (@_jasonwei).
