OpenAI 未对 GPT-5.6 报告自主任务基准 GDPval 结果

The metrics discussion at OpenAI is a little confu…

精选理由

OpenAI 自己搞了个硬核自主任务基准 GDPval,花了大钱,结果 GPT-5.6 的成绩藏起来了。背后有啥故事?不点进来看看?

AI 摘要

OpenAI 为新模型 GPT-5.6 开发了高质量自主任务基准 GDPval,但未公开该基准的测试结果。该基准旨在评估模型在困难任务上的自主能力,开发成本高昂。外部评论者指出 OpenAI 在指标讨论中回避关键数据,引发透明性质疑。

AI 翻译 · 中文

OpenAI 为新模型 GPT-5.6 开发了高质量自主任务基准 GDPval,但未公开该基准的测试结果。该基准旨在评估模型在困难任务上的自主能力,开发成本高昂。外部评论者指出 OpenAI 在指标讨论中回避关键数据,引发透明性质疑。

Ethan MollickThe metrics discussion at OpenAI is a little confusing to me. I appreciate the clarification about bad benchmarks, but they spent a lot of money developing a very good benchmark of autonomous model ability at hard tasks,
OpenAI 未对 GPT-5.6 报告自主任务基准 GDPval 结果 · AI 热点