xbench

general · First seen 2026-10-01 · Last seen 2026-10-16 · 4 mentions

Overview

xbench 是一个面向 AI Agent(智能体)的基准测试体系,由中国团队于 2025 年年中推出,主张用“真实价值对齐”(value alignment)而非静态题库来衡量大模型与 Agent 的实际能力。它最初包含 DeepSearch(信息检索)与 ScienceQA(科学问答)等追踪性测试,持续更新题目以避免过拟合,并引入“绩效-成本曲线”来刻画模型能力随价格下降的扩展趋势,逐渐成为业内评估 Agent 水平时常被引用的第三方基准之一。

xbench 视角下的 Agent 近期进展

  • DAGent:深度研究智能体的评估增长规划框架:针对深度研究类智能体提出规划框架,其评估思路与 xbench 对动态、任务型评测的强调相呼应,反映学界正从单轮问答转向多步任务的考核方式。
  • KnowGPO:基于知识分组优化的搜索智能体强化学习框架:围绕搜索智能体的强化学习优化展开,属于 xbench DeepSearch 类任务所对应的能力侧进展,说明检索与信息综合仍是 Agent 的核心战场。
  • MemScope:通过局部代码修复让 Agent 记忆架构自我进化:探索 Agent 记忆架构的自我修复与进化,指向记忆管理这一 xbench 类基准尚未充分覆盖、但日益关键的评测维度。
  • 当前焦点与观察点

    现阶段围绕 xbench 的讨论主要集中在三点。其一是评测的有效性:动态更新题目虽能降低“刷榜”风险,但也带来了可复现性与结果可比性的争议。其二是能力外推:xbench 提出的绩效-成本曲线暗示模型能力上限仍在随投入增长,这一判断被多方引用来预测 Agent 商业化的时间点。其三是覆盖面:如 MemScope、KnowGPO 等工作所展示的记忆、多步规划与强化学习能力,尚未被现有基准完整衡量。

    对普通读者而言,观察 xbench 的意义在于它提供了一个相对中立的参照系:当各家厂商宣传 Agent 产品能力时,可以借助这类第三方基准交叉验证,同时关注其成本侧数据,而不仅仅是分数排名。

    Coverage

    3 on file