GAIA 是 Meta、Hugging Face 等机构于 2023 年推出的通用 AI 智能体能力基准测试,通过一系列需要推理、多模态理解、工具调用与网页浏览等真实世界技能的问题,衡量大模型驱动的智能体完成复杂任务的水平。由于人类在该基准上的平均准确率约为 92%,GAIA 长期被视为衡量智能体与人类差距的参照,也是近两年智能体论文竞相刷榜的核心评测之一。
GAIA 近期研究进展
当前焦点与观察点
从近期论文分布看,GAIA 上的竞争已从单纯堆叠更强底层模型,转向智能体系统设计本身:多智能体分工(如 DAGent 的规划框架)、记忆与上下文管理、推理效率优化三条路线并进。35% 到 70% 的跃升说明 harness 层的工程创新仍能带来远超换模型本身的收益,这与"Agent = Model + Harness"的六层架构观点相互印证。
值得关注的争议点在于:随着各家系统在 GAIA 上逼近甚至突破 70%,该基准的区分度正在下降,且题目以封闭答案为主,难以覆盖真实生产环境中开放性、长周期的任务。Benchmark 过拟合、数据污染的质疑也时有出现。后续观察点包括 GAIA 类基准的更新迭代,以及准确率提升能否在实际部署中转化为稳定、低成本的智能体产品能力。