Sutton Pushes Back on Bitter Lesson Misreading as Brute Force Alone
Richard Sutton, author of The Bitter Lesson, clarified on X that brute-force computation alone cannot yield genuine intelligence and that clever new methods are still needed. Commentators add that the essay targets hardcoding human ingenuity into systems, not algorithmic or architectural innovation.
Full Report
宝玉 (@dotey) · 2026-11-10 06
在 X 上有一点好就是总能看到大神们论道，比如这一段关于“苦涩的教训”的讨论。
今天很多大语言模型信徒们经常拿着《苦涩的教训》当圣经，认为“只要无脑堆算力、堆数据就够了，不需要什么新算法”。而作者 Sutton 本人的这条推文，以及 Prashant Rai 的精辟回复，正是对这种解读的一种纠偏。
《苦涩的教训》讲的是 AI 历史上那些依赖人类专家知识的精巧设计，最终都败给了利用海量算力的通用学习方法。
但这经常被解读为“唯算力论”，认为只要加大数据量、加大模型参数和算力就能实现 AGI。
作者 Sutton 这次发推：
“光靠暴力计算（Brute force computation）不足以实现真正的智能。我们需要巧妙的新方法（Clever new methods）。在我看来，AI 这门科学还远未终结。”
Prashant Rai（芬兰的自动化博士，做非公路场景的自动驾驶）的转发，也可以看作是一种解读：
“《苦涩的教训》常常被误解为是在反对‘算法上的精巧创新’，但它真正反对的，其实是把人类自己的小聪明‘硬编码（Hardcoding）’进系统里。”
这句话极其精准地切中了问题的要害，区分了两种截然不同的“聪明”：
一种是错误的聪明，也就是把人类的知识硬编码进去。
比如说人类觉得自己懂国际象棋，于是把棋谱口诀写进代码；人类觉得自己懂语法，于是搞出复杂的句法树规则教 AI 说话；自动驾驶里人类写满几万条 if-else 规则。
这才是《苦涩的教训》批判的对象。这种做法上限极低，一旦算力上来，端到端的神经网络直接把这些人工规则碾得粉碎。
另一种是正确的聪明，是在算法与架构层面的精巧创新。
比如说设计出能够随着算力增长而不断变强（Scale with compute）的通用学习机制。像反向传播算法（Backpropagation）、卷积神经网络（CNN）、Transformer 架构、蒙特卡洛树搜索（MCTS）、时序差分学习（TD Learning）都是属于这种。
这些正是 Sutton 所呼吁的“巧妙的新方法”。没有 Transformer 这个极其精巧的算法/架构创新，给你十万张 H100 显卡，你也训不出 ChatGPT。
↳ 引用 @imprashantrai1 (Prashant Rai): The Bitter Lesson is often mistaken for an argument against algorithmic ingenuity, when it’s really an argument against hardcoding our own ingenuity into the system.
