GPQA（Graduate-Level Google-Proof Q&A）是一个专为评估AI模型在需要多步推理、专业知识与信息整合的复杂问答任务上表现的高难度基准数据集。其设计旨在超越简单模式匹配，要求模型具备类似研究生的分析能力，因此成为衡量前沿模型推理深度的重要标尺。
GPQA近期进展
OpenRouter 持续在 GPQA 等基准上运行开放权重模型评估并公开排名，为社区提供实时性能对比。最新数据显示，不同架构和规模的模型在该基准上的表现差异显著，其中一些推理优化模型（如通过自蒸馏或组合策略）取得突破。
OpenRouter 持续运行 GPQA 和 TAU-Bench 并公开结果
Hugging Face 联合创始人 Clement Delangue 指出，部分闭源API在评估时暗中采用回退策略（如调用更强模型后压缩回复），导致基准测试结果失真，尤其在高难度基准如 GPQA 上可能掩盖真实能力差距。这一观点引发了对基准测试标准化与透明度的新一轮讨论。
Clement Delangue 指出闭源API用回退策略使AI基准测试不公平
一项跨67个前沿模型的组合LLM研究揭示，通过路由、投票或模型融合（MoA）等策略，可在 GPQA 等任务上突破单一模型的能力上限，但增益受限于模型的“共失败”模式——即当多个模型在同一难点上集体出错时，组合方法效果有限。该工作为理解 GPQA 的挑战边界提供了新视角。
跨67个前沿模型的组合LLM：共失败上限限制路由、投票与MoA增益
当前焦点与观察点
GPQA 作为推理能力的“试金石”，正推动社区从单纯追求参数规模转向关注推理效率与可靠性。近期焦点集中在三个方面：一是如何设计更公平、抗操纵的评估流程，避免回退策略等作弊手段污染结果；二是模型在 GPQA 上的表现是否真实反映其泛化推理能力，抑或存在过拟合风险；三是组合与自蒸馏等方法能否在降低计算成本的同时保持或提升 GPQA 成绩。尽管 GPQA 的难度使许多模型望而却步，但它也为辨别推理技术的真正进步提供了清晰标尺，未来基准本身的维护与更新将成为关键课题。