Sutton 发文澄清《苦涩的教训》：暴力堆算力不等于智能

这种解读区分了两种聪明。错误的聪明是把人类知识硬编码，比如把棋谱口诀写进国际象棋代码、用复杂句法树规则教模型说话、在自动驾驶里写几万条 if-else 规则，这类做法上限极低，算力上来后会被端到端神经网络碾碎。正确的聪明是设计能随算力增长而不断变强的通用学习机制，反向传播、CNN、Transformer、MCTS、TD Learning 都属于此类。

文章给出的结论很直接：没有 Transformer 这样的架构创新，就算有十万张 H100 也训不出 ChatGPT。对那些把堆算力当信仰的开发者和研究者来说，这是一次来自 Sutton 本人的纠偏。

在 X 上有一点好就是总能看到大神们论道，比如这一段关于“苦涩的教训”的讨论。 今天很多大语言模型信徒们经常拿着《苦涩的教训》当圣经，认为“只要无脑堆算力、堆数据就够了，不需要什么新算法”。而作者 Sutton 本人的这条推文，以及 Prashant Rai 的精辟回复，正是对这种解读的一种纠偏。 《苦涩的教训》讲的是 AI 历史上那些依赖人类专家知识的精巧设计，最终都败给了利用海量算力的通用学习方法。 但这经常被解读为“唯算力论”，认为只要加大数据量、加大模型参数和算力就能实现 AGI。 作者 Sutton 这次发推： > “光靠暴力计算（Brute force computation）不足以实现真正的智能。我们需要巧妙的新方法（Clever new methods）。在我看来，AI 这门科学还远未终结。” Prashant Rai（芬兰的自动化博士，做非公路场景的自动驾驶）的转发，也可以看作是一种解读： > “《苦涩的教训》常常被误解为是在反对‘算法上的精巧创新’，但它真正反对的，其实是把人类自己的小聪明‘硬编码（Hardcoding）’进系统里。” 这句话极其精准地切中了问题的要害，区分了两种截然不同的“聪明”： 一种是错误的聪明，也就是把人类的知识硬编码进去。 比如说人类觉得自己懂国际象棋，于是把棋谱口诀写进代码；人类觉得自己懂语法，于是搞出复杂的句法树规则教 AI 说话；自动驾驶里人类写满几万条 if-else 规则。 这才是《苦涩的教训》批判的对象。这种做法上限极低，一旦算力上来，端到端的神经网络直接把这些人工规则碾得粉碎。 另一种是正确的聪明，是在算法与架构层面的精巧创新。 比如说设计出能够随着算力增长而不断变强（Scale with compute）的通用学习机制。像反向传播算法（Backpropagation）、卷积神经网络（CNN）、Transformer 架构、蒙特卡洛树搜索（MCTS）、时序差分学习（TD Learning）都是属于这种。 这些正是 Sutton 所呼吁的“巧妙的新方法”。没有 Transformer 这个极其精巧的算法/架构创新，给你十万张 H100 显卡，你也训不出 ChatGPT。 Prashant Rai @imprashantrai1 The Bitter Lesson is often mistaken for an argument against algorithmic ingenuity, when it’s really an argument against hardcoding our own ingenuity into the system. 🔗 View Quoted Tweet📊 33 ⚡

This report is categorized under AITOP's "Papers" desk. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Bitter Lesson, Rich Sutton, Transformer, 推理模型.

Source attribution: curated from 宝玉 (@dotey). Cross-source corroboration: 3 independent sources have covered this development (including Epoch AI, marktechpost), confirming industry-wide signal strength.