GAIA

product · First seen 2026-05-22 · Last seen 2026-10-28 · 45 mentions

Overview

GAIA 是 Meta、Hugging Face 等机构于 2023 年推出的通用 AI 智能体能力基准测试,通过一系列需要推理、多模态理解、工具调用与网页浏览等真实世界技能的问题,衡量大模型驱动的智能体完成复杂任务的水平。由于人类在该基准上的平均准确率约为 92%,GAIA 长期被视为衡量智能体与人类差距的参照,也是近两年智能体论文竞相刷榜的核心评测之一。

GAIA 近期研究进展

  • 新研究提出多开发者智能体系统:GAIA 上准确率从 35% 升至 70%:普林斯顿团队的论文提出由多个"开发者"智能体专精分工、组合协作的架构,将 GAIA 准确率翻倍提升,显示出智能体组织方式本身仍是尚未挖掘的性能来源。
  • KnowGPO:基于知识分组优化的搜索智能体强化学习框架:该工作聚焦搜索类智能体,通过知识分组进行强化学习优化,代表了 GAIA 类任务中"检索与工具使用"环节的专项改进路线。
  • MemScope:通过局部代码修复让 Agent 记忆架构自我进化:针对长任务中的上下文管理问题,MemScope 让记忆架构通过局部代码修复实现自我进化,与同期出现的 HyMem(分层上下文管理)共同指向记忆机制这一热门方向。
  • HybridAgent:推理藏进内部向量,解码算力省 62.5% 还更准:在效率维度上,该工作把推理过程压缩进内部向量表示,解码算力节省 62.5% 的同时保持准确率,回应了智能体推理成本过高的工程痛点。
  • 当前焦点与观察点

    从近期论文分布看,GAIA 上的竞争已从单纯堆叠更强底层模型,转向智能体系统设计本身:多智能体分工(如 DAGent 的规划框架)、记忆与上下文管理、推理效率优化三条路线并进。35% 到 70% 的跃升说明 harness 层的工程创新仍能带来远超换模型本身的收益,这与"Agent = Model + Harness"的六层架构观点相互印证。

    值得关注的争议点在于:随着各家系统在 GAIA 上逼近甚至突破 70%,该基准的区分度正在下降,且题目以封闭答案为主,难以覆盖真实生产环境中开放性、长周期的任务。Benchmark 过拟合、数据污染的质疑也时有出现。后续观察点包括 GAIA 类基准的更新迭代,以及准确率提升能否在实际部署中转化为稳定、低成本的智能体产品能力。

    Coverage

    10 on file