OpenAI 研究员称大模型神经元大多可解释,机械可解释性有望快速突破
原标题:Very happy to see this from Nick!
78AI 研判分
OpenAI 前研究员 Nick Cammarata 指出,借助现代智能体工具,万亿参数级大模型的绝大多数神经元已变得清晰可读,推翻了早期“神经网络是任意纠缠结”的悲观观点。他认为随着自动化科学家能力的提升,机械可解释性问题可能在近期得到解决,这被视为该领域的一个“苦涩教训”:简单方法在极大尺度下依然有效。Sam Altman 对此表示高度认可。
报道正文
Sam Altman (@sama) · 2026-10-16 16
很高兴看到 Nick 的分享!
↳ 引用 @nickcammarata (Nick): 可解释性可能是当今世界上最重要的科学问题,因为我认为如果我们不了解自己正在构建什么,就无法解决对齐(alignment)问题。关于这一点,我有好消息要分享。我在 OpenAI 早期曾参与机制可解释性(mechanistic interpretability)的研究,当时得出的结论是悲观的,因为神经网络似乎会坍缩成任意纠缠的死结。多年后,我启动了 OpenAI 首个大规模自动化可解释性项目,使用当时简陋的工具,发现仅有约 2% 的神经元是可解读的。
借助现代智能体(agentic)工具以及更深入的观察,情况截然不同。在参数量高达数万亿的模型中,绝大多数神经元都是可解读的,且其电路结构优美。许多著名的“纠缠神经元”案例最终被证明是被误解了。我所预期的障碍大多并不存在。我现在认为,雄心勃勃的可解释性问题将在我们最需要它的时候得到解决,甚至可能很快就能实现,随着自动化科学家(automated scientists)能力的不断提升。这对可解释性领域来说可能是一个苦涩教训(bitter lesson):简单的方法,在荒谬的规模下,行得通