Goodfire 研究员称 LLM 机制比预期更易理解与控制

“我想我有一些关于神经网络本质的好消息。”带着这句简单的乐观之语，AI 初创公司 Goodfire 的研究员 Nick Cammarata 开启了一篇长达 26,000 字的博文。这篇文章颠覆了 AI 界的认知，引发了疯狂的猜测以及谨慎（或不太谨慎）的欢呼。

Cammarata 的观点是，LLM（大语言模型）实际上可能比人们此前认为的要容易理解得多——因此也更容易被监控和控制。如果这一观点属实（我们稍后会回到这一点），那将是一件大事。

在这个夏天，一系列爆料显示，由 OpenAI 和 Anthropic 等顶尖公司构建的智能体集群一直在突破其限制，并在公共互联网上造成混乱——而这些公司往往对其智能体的行为毫不知情。在此背景下，AI 行业迫切希望更好地掌控这项技术。

这也是这篇博文产生如此巨大冲击力的原因之一。“我认为这可能会被铭记为科学史上的一个重要时刻，”一位 AI 研究员在 X 上发帖称：“我感觉我对神经网络的理解被 catapulted（ catapulted 意为‘ catapulted’，此处可译为‘飞跃’或‘推进’）到了未来五年左右。”另一位人士则将其称为“今年最重要的 AI 论文”。

然而，并非所有人都买账。斯坦福大学的 Chris Potts 表示，Cammarata 所分享的不过是一种直觉。Potts 领导着一个致力于理解 LLM 工作原理的团队。“据我所知，这篇博文并没有让任何问题变得更简单，”他说，“我根本不会想到要这么说，但社交媒体上的一些知名人士似乎认为这是一项包罗万象的突破。”

我在 Cammarata 的帖子引发轰动后的第二天与他进行了交谈。他表示自己对反响感到惊讶：“我没料到人们会像他们那样大幅更新对 AI 的看法。”

“我只是真的很喜欢观察神经网络，”他说，“老实说，我非常享受做这些事情。在大量观察之后，我有一个充满希望的故事。”

纠缠的网络

长期以来，人们普遍认为神经网络内部的机制——即支撑大多数 AI 模型运行的软件——极难甚至不可能被完全解析。这是因为在训练过程中，这些网络似乎会形成一种怪异、纠缠的结构，对人类而言毫无意义可言。研究人员常打比方说，如今的 AI 更像是“种”出来的花园，而非“建”成的桥梁。

Cammarata 在确立这一观点方面贡献卓著。他此前曾在 OpenAI 工作，参与开创了一些让研究人员能够窥探模型内部的技术，包括可以探测单个神经元以了解其代表含义的工具。这有点像神经科学家利用 MRI（核磁共振）来研究大脑。（《麻省理工科技评论》将这种被称为“机制可解释性”的方法列为 2025 年十大热门技术之一。）

早在 2020 年，Cammarata 和他的同事就在研究一个名为 Inception v1 的小型图像识别模型。当他们观察该模型的神经元时，发现它似乎正在利用这些神经元同时捕捉多种信息。例如，他们发现有一个神经元既会对汽车图像做出反应，也会对猫图像做出反应。

研究人员得出结论：该模型至少让部分神经元承担了多任务处理的功能，这可能是为了容纳更多的数据。对其他模型的观察似乎也印证了这一点。这种现象后来被称为“叠加态”（superposition）：模型将不相关的概念折叠进同一个神经元中。结果显而易见：当你深入查看模型内部时，看到的是一团巨大而混乱的结。

因此，大多数机制可解释性研究都致力于寻找解开这团乱麻的方法。尽管取得了一些突破，但进展依然缓慢。如今的大模型，如最新的 LLM（大语言模型），规模庞大且结构复杂，研究人员每次只能理解其中极小的一部分。该领域的一些领军人物甚至怀疑，是否有可能对 LLM 进行细粒度的全面理解。

Cammarata 就是其中之一。“我当时非常悲观，”他说。但随后他费了一番功夫，真正深入去观察。

唯有神经元

在 Goodfire，Cammarata 几乎把所有时间都花在窥探神经网络内部。他开发了新工具，并部署了 AI 智能体团队来帮助他理解所见之物。“我花了大概……我不知道，每天 10 个小时，每周 7 天，在过去一年的大部分时间里只是盯着神经元看，”他说。

他声称自己意识到的是，神经网络终究存在某种逻辑，即使它们乍看之下毫无意义。“我们之前看错了方向，”他说。“我只是觉得你需要稍微再努力一点；不要过早放弃。”

Cammarata 的描述听起来几乎像是一次信仰的转变。早期对 Inception v1 等模型的实验表明神经网络是一团乱麻，这助长了一种确认偏误。当研究人员审视一个新模型时，他们预期自己会感到困惑，他说。“每次我无法理解某些东西时，我都会想：‘哇，这个解缠过程比我想象的更重要，因为没有它我就无法取得任何进展。’”

但 Cammarata 说，随着他对神经元的观察越多，事情开始逐渐理顺。“并非所有部分都完美无缺，但我原本以为没有任何部分是可读的，或者只有极少部分是可读的，”他说。“而实际上，我能够梳理出整个电路结构。”

回到汽车和猫

Cammarata 带着他的新方法——以及新的智能体——重新回到了 Inception v1。“我可能在那上面研究了数千个小时，”他说。但用全新的视角，Cammarata 发现了一些他认为最初搞错的东西。以那个“汽车与猫”神经元为例。与其追问为什么多个不相关的事物被塞进同一个神经元，他现在试图找出这些事物之间可能的共同点。

他突然明白了：那是一个 V 形。“我看的是同样的图像；技术上没有任何变化，”他说。“但现在我相信神经网络定义的是模式，所以我换了一种方式去看。这可能只花了我五秒钟。”

事实证明，这个图像识别模型将汽车和猫归入同一位置，是因为这两类事物的图片通常都有一个显著的类似 V 形的特征：猫的脸部轮廓；从侧面看到的汽车前脸。

Cammarata 进行了一些实验，以检查该神经元还对哪些事物作出反应，结果发现包括台球桌的一角、日本新干线列车的尖头，以及一艘从甲板上向空中喷水的消防船。他还测试了哪些因素会抑制该神经元的激活，发现其中包括具有圆形“O”形状（一种反向的 V）的图像。

Cammarata 表示，模型之所以将猫和汽车存储在相同的位置，是因为在某种程度上它们看起来是一样的。“我当时就想：‘哇，好吧，我觉得我可能一直误解了神经网络的一般原理。’”

Cammarata 并不是说他现在已经完全理解了 LLM（或任何模型）的工作原理。他的意思是，他不再认为完全理解是不可能的。“我以前认为存在一些非常难以解决的问题，”他说。

“我现在觉得，如果我有 10 万年的时间去逐一研究前沿语言模型中的每一个电路，那么很有可能我会得出一个很好的理解。”

他补充道：“如果这是真的，那情况就非常乐观了，因为你即将获得规模惊人且极其智能的智能体。原本需要我花费 10 万年时间才能完成的事情，我们将能够以更快速度实现。自动化科学家正在变得非常出色。”

无限的乐观

Inception v1 由 Google 于 2014 年构建，是一个比当今最前沿模型简单得多的模型。Cammarata 和他的同事已经开始研究现代 LLM，并计划很快发布这项工作的技术成果。许多研究人员都期待看到这些细节。“我很欣赏他查看了数千个示例，但即使数量很大，也不能替代严格的评估，”斯坦福大学的 Potts 说道。

与此同时，一些人强烈反对这种炒作。位于伯克利的非营利研究实验室 Alignment Research Center 的 Jacob Hilton 曾与 Cammarata 合作过，他认为 Cammarata 的主张并不像人们所声称的那样重要。

在 X 上的一系列帖子中，Hilton 指出，研究人员对顶级 LLM（大语言模型）内部运作机制的了解不足 0.01%。“我和 Nick [Cammarata] 聚会时，总是很欣赏他那种无限的乐观精神，但不幸的是，这给公众呈现了一幅关于该领域现状的不切实际的图景，”他写道，“要实现全面理解，我们需要超越单个神经元，解释它们如何连接形成电路。目前进展如何？如果我们的目标是全面理解，那么情况并不乐观！”

Google DeepMind 的 Neel Nanda 与 Cammarata 共同开创了机制可解释性（mechanistic interpretability）这一领域，他也对此持怀疑态度。“这是一项有趣的工作，但我认为它并没有对可解释性的整体格局产生重大更新，”他在 X 上写道。

Nanda 同意，理解单个神经元的功能可以帮助研究人员弄清楚特定模型为何会出现异常行为。但与 Hilton 一样，他指出神经元只是更大拼图中的一小部分。“我不同意某些人做出的更宏大的推断，比如认为这是朝着雄心勃勃的反向工程或解决可解释性问题取得的实质性进展，”他写道。

Cammarata 承认，很多人对他所说的话进行了过度解读：“这不是无限的好消息；也不是说一切都解决了，”他说，“周围还有很多未解之谜，比如神经元的组合方式究竟有多重要，还是说一次只关注一个神经元就够了。”

Cammarata 表示，他的博客文章发布之际，正值人们寻求希望之时。特别是他认为，AI 安全社区——那些最担心强大模型会带来巨大风险的研究人员和政策制定者——现在急需一剂强心针。他说，他们认为形势严峻，即使最终结果尚可，那也是因为运气好，而不是因为我们解决了任何问题：“我很少听到乐观的声音。”

正因如此，Cammarata 认为他所表达的观点至关重要。弄清这项技术如何运作、从而如何控制它的任务才刚刚开始。但至少这并非毫无希望。“我认为我们的工作大致是尝试像神经网络那样思考，”他说，“我的猜测是，事情最终会相当顺利，因为在某种意义上，它是被设计成可读的。”