11:32arXiv cs.AI@HuiMing Fan, Xiao Wang, Zheng Chu, Qianyu Wang, Zhuoyao Wang, Ming Liu, Bing Qin, XingYu精选72°研究团队发现,基于LLM的搜索智能体在BrowseComp基准测试中,高达44.5%的问题无需工具即可回答,超过一半的搜索查询来自内部假设而非检索线索,表现出对内在知识的依赖而非真正的证据驱动搜索。当移除支持答案的外部证据后,智能体表现甚至不如闭卷基线。为此,团队推出了LiveBrowseComp,一个包含335个依赖90天内发布事实的问题的深度搜索基准,所有智能体在该基准上的闭卷准确率低于2%,搜索增强得分比BrowseComp下降25-40点,且模型排名不再可靠。该基准旨在评估智能体超越内在知识覆盖的真实搜索能力。论文搜索智能体基准测试内在知识依赖LLM评估LiveBrowseComp推荐理由:这项研究戳穿了搜索智能体的真实能力——它们可能只是在验证已知信息而非真正搜索。做搜索Agent或评估AI检索能力的团队,值得看看LiveBrowseComp这个新基准,避免被静态测试误导。原文