Jason Wei shares three AI framework insights

He divides AI progress into two stages: first, unlocking new capabilities, and second, rapid commercialization once those capabilities are achieved.

Using MMLU benchmark data, he shows that the cost to reach the same level of intelligence decreases every year.

He also discusses a trend where finding information is becoming exponentially faster, citing an example where an AI can access a specific database to answer a question that humans struggle with.

This trend leads to the democratization of knowledge-based fields and the increasing value of private, internal information.

Jason Wei 在 Stanford AI Club 做了一场约 30 分钟的演讲，围绕三个他认为理解 2025 年 AI 格局最基本的思维框架展开。Jason Wei 目前在 Meta Superintelligence Labs 做研究，此前在 OpenAI 参与创建了 o1 和 Deep Research，更早在 Google Brain 推动了 chain-of-thought prompting 和 instruction tuning 的研究，累计被引超过 9 万次。 一、智能正在变成大宗商品 他把 AI 的进步分成两个阶段：第一阶段是推前沿，模型还做不好某件事，你在解锁新能力；第二阶段是一旦能力达成，它就会迅速被商品化。用 MMLU 基准测试的数据看，每一年达到同等智能水平所需的花费都在下降，这个趋势在他看来还会持续，核心原因是深度学习历史上第一次"自适应计算"真正跑通了。过去不管问题多简单多难，推理用的算力是固定的；现在从 o1 开始，模型可以根据问题难度动态调整推理时的算力投入，这意味着简单任务的成本可以被压到极低。 另一个维度是获取公开信息的时间。他画了一条时间线：从前互联网时代到互联网时代、聊天机器人时代、再到 AI 智能体时代，找到一条信息所需的时间在指数级缩短。他举了一个例子——"1983 年韩国釜山有多少对夫妇结婚？"——o3 回答不了这个问题，但 OpenAI Operator 可以，因为它能打开韩国统计数据库 KOSIS，一路点击操作直到查到答案。OpenAI 内部用一个叫 BrowseComp 的基准来衡量这种"知道答案就秒验证，但找答案极耗时"的任务，人类平均每题花两小时以上，很多题根本做不出来，而 Deep Research 能解决大约一半。 这个趋势带来几个推论：过去靠知识门槛建立壁垒的领域会被民主化，vibe coding 和个人健康管理是典型例子；公开信息近乎免费之后，私有内部信息的相对价值反而上升了——比如你知道哪些房子没上市但可以卖，这种信息会更值钱；最终每个人将拥有一个"个性化互联网"，想知道什么就有一个为你定制的页面呈现给你。 二、验证者定律：能衡量的就能被 AI 攻克 第二个框架是他所说的"验证不对称性"。有些任务，生成一个解比验证一个解难得多——数独是经典例子，写出能跑 Twitter 的代码需要大量工程师，但验证它能不能用只要打开网页点几下。另一些任务则相反：写一篇看起来有道理的事实性文章很快，但逐句核实极其费时；宣称"最好的饮食是只吃野牛肉"只花 10 秒，但验证这个说法需要大样本和长期跟踪。 他在一个二维平面上把这些任务画出来：X 轴是生成难度，Y 轴是验证难度。关键洞察是，你可以通过提供"特权信息"来改变任务在这个平面上的位置——竞赛数学题如果给了答案就秒验证，写代码如果给了测试用例（像 SWE-bench 那样）验证也变得简单。 由此他提出了 Verifier's Law：AI 训练出来在某个任务上的能力，基本上与该任务的可验证程度成正比。具体来说，可验证性取决于五个因素：是否有客观正确答案、验证速度多快、能否大规模并行验证、噪声大不大、以及奖励信号是连续的还是二元的。几乎所有 AI benchmark 本身就是因为容易验证才被设计出来的，而这些 benchmark 确实在过去几年被逐一攻破，这恰好是 Verifier's Law 的实例。 他特别推荐了 DeepMind 的 AlphaEvolve 作为利用验证不对称性的范例。AlphaEvolve 挑选满足上述五个条件的问题——比如找到 11 个六边形的最优排列使外接六边形最小——然后用大语言模型采样大量候选解，自动评分，把最优解作为下一轮采样的灵感，不断迭代。关键技巧在于它绕过了泛化问题：训练集和测试集是同一道题，你就是想知道这一道题的最优解。 这个框架的实际推论是：最先被自动化的任务一定是验证成本最低的任务；而一个正在崛起的创业方向是——发明新的衡量方法，把原本难以验证的任务变得可验证，从而让 AI 去优化它。 三、智能的锯齿状边缘 对于"AI 将如何改变世界"这个问题，他看到的观点光谱极广。他的一个量化交易员朋友觉得 ChatGPT 跟自己工作无关，而他在顶级实验室的同事则认为再过两三年 AI 就会取代他们自己的工作。 他明确反对"快速起飞"假说——即一旦 AI 跨过某个临界点就会突然变成超级智能。他的理由是，AI 的自我改进不是一个二元开关，而是一个渐进光谱：从跑不起来代码，到能训练但结果一般，到能自主训练但不如顶尖研究者，再到偶尔还需要人工干预。更重要的是，自我改进的速度应该按任务来看。AI 的能力图谱是一条锯齿线：在某些任务上已经达到山峰（竞赛数学、部分编程），但在另一些任务上仍是低谷（比如 ChatGPT 曾长期认为 9.11 大于 9.9，或者说一门只有几百人会的原住民语言 Tlingit）。 他给出了判断 AI 在某个任务上进步速度的三条启发式规则。第一，AI 擅长数字化任务，核心原因是迭代速度——数字环境可以轻松扩展算力，而物理机器人的实验扩展成本高得多。第二，人类觉得容易的任务 AI 也往往容易，但有一类例外是"人类因生理限制做不到但 AI 可以做到"的任务，比如读过一千万张乳腺影像后发现某个人类注意力无法捕捉的模式来预测乳腺癌。第三，数据充足的任务 AI 表现好——数学推理在不同语言上的表现和该语言的训练数据量高度相关；而如果一个任务有单一客观指标，就可以通过强化学习生成合成数据来突破数据瓶颈，AlphaEvolve 和 AlphaZero 都是这个路线。 他用一张表把这些启发式规则应用到具体任务上：主流语言翻译已经完成；调试基础代码 2023 年搞定；竞赛数学 2024 年搞定；AI 研究本身大概 2027 年；化学研究因为不是纯数字任务会更晚；拍电影大概 2029 年；修水管和理发因为高度物理化，短期内不太可能；乌兹别克传统地毯编织需要一组人花一个月、非数字化且缺数据，AI 不太可能碰到；至于"带女朋友约会让她满意"——他的判断是"impossible，非数字化，缺数据"，人类还能保住饭碗。 youtube.com/watch?v=b6Doq2…

This report is categorized under AITOP's "Papers" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Jason Wei, AI frameworks, Meta Superintelligence Labs, MMLU.

Source attribution: curated from 宝玉 (@dotey). Cross-source corroboration: 11 independent sources have covered this development (including IT之家, AI Will, Gary Marcus), confirming industry-wide signal strength.