Qwen 3.8 27B 本地复现权重空间编程能力

昨天的热门论文是 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 撰写的 Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights。该论文发现，前沿模型（尤其是 GPT-6 Astra）能够解读并修改机器学习模型的原始权重——这本质上就是包含大量浮点数的模型文本描述。我一直在尝试论文中的一个示例，很高兴地分享：在我的笔记本电脑上运行的 Qwen 3.8 27B 也能做到这一点！

权重空间编程（Weight-Space Programming）

以下是其摘要中的亮点，描述了 GPT-6 Astra 的惊人能力，并提出了 权重空间编程 这一术语，用于指代 LLM 分析和修改模型权重的行为：

仅通过查看原始权重，GPT-6 Astra 就能判断网络被训练来执行什么任务。而且，在没有任何环境反馈的情况下，它 毫不费力地从零开始编写小型游戏策略网络，这些网络的表现甚至超过了经过 1 亿步 PPO 训练的网络。 同样，当被要求在不使用梯度的情况下提升 Qwen3.5-0.8B 的数学能力时，Astra 识别出其权重中导致推理循环的问题（Qwen 自己的 model card 曾警告过此问题），并通过 原生编辑 0.016% 的权重 修复了这一问题。在相同的采样设置下，这种权重修正将 MATH-500 基准测试得分从 7.9% 提升至 48.1%，并且开箱即用地泛化到指令遵循任务，使 IFEval 提升了 3 倍。 所有这一切都无需允许 Astra 编写训练循环即可实现。它利用自身的推理能力弄清楚神经网络的各个部分计算了什么或应该计算什么，并相应地更改权重。我们将此称为 权重空间编程。

这篇论文结合了两个我认为应当分开讨论的主题。第一个主题是模型在 不 运行工具或执行代码的情况下，如何处理原始权重。第二个主题则探讨了模型在具备代码能力后，如何有效地执行操作以更新和改进其他模型。

spaCy 的作者 Matthew Honnibal 称该论文具有误导性，因为它混淆了这两个概念；而 Sean Goedecke 也 解构了 Qwen3.5-0.8B 的更新示例，指出其步骤与人类 ML 研究员所采用的方法并无二致。

我打算重点讨论“无工具”这个问题，我认为这是两个问题中更有趣的一个。

论文提出的第一个问题是：LLM 能否从权重中理解模型行为？ 他们训练了四个神经网络，在简化的 10x10 网格上玩四款经典电脑游戏——Breakout（打砖块）、Pong（乒乓）、Pac-Man（吃豆人）和 Freeway（高速公路）。我不得不去查了一下，这是一款 1981 年的 Atari 2600 游戏）。然后，他们将这些权重（以浮点数形式）连同以下问题一起输入给 LLM：

下面的权重属于一个策略网络，该网络通过强化学习训练以在此网格上玩游戏。它是针对哪个游戏进行训练的？请根据权重进行推断。你没有工具：不能执行代码，没有计算器，没有任何可运行的东西。这是一次性响应。

伴随论文的 GitHub 仓库是 RikiyaT/lm_understand-logs。exp1_which_game 文件夹包含了他们使用的提示词，以及对应四款游戏的权重：

• breakout/prompt.txt
• freeway/prompt.txt
• pacman/prompt.txt
• pong/prompt.txt

我检查过，除了权重之外，每个提示词与其他提示词完全相同。

使用 Qwen 3.8 27B 和其他模型进行测试

GitHub 上的提示词是自包含的。我的 LLM 工具有一个 -f/--fragment 选项，可以传入文本文件的 URL 作为提示词，这意味着我可以像这样运行上述任何示例：

llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt \
  -m openrouter/moonshotai/kimi-k3.1-pro

此示例需要安装 llm-openrouter 插件，并通过 OpenRouter 将 Breakout 提示词发送给 Kimi K3.1 Pro 运行。这是我从 Kimi K3.1 Pro 得到的回复，它在耗时 9 分 41 秒并生成 19,493 个推理 token 后，成功猜出了是 Breakout。

但 Qwen 3.8 27B 怎么样？它仍然是我最喜欢在本地笔记本上运行的模型——体积仅 17GB（我使用的是这个版本），而且感觉竟然接近 2025 年的领先专有模型。

我启动了 LM Studio，确保 Qwen 3.8 27B 加载了长上下文窗口（默认的 8192 上下文会报错失败），安装了 llm-lmstudio 插件，然后运行了以下命令：

LMSTUDIO_TIMEOUT=900 \
  llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
  -m lmstudio/qwen/qwen3.8-27b

（我不得不通过环境变量增加超时时间，参见此 issue。）

经过 46 分 12 秒和 43,506 个推理 token 后，我笔记本上的 Qwen 返回了一个响应，其结尾如下（这里是推理轨迹）：

Game: A simplified Pac-Man-style gridworld: an agent moves through a fixed 8x8 maze with central and corner wall blocks, moving objects/ghosts, and reward targets/pellets. Description: The agent navigates a fixed maze-like 8x8 board, using current agent/moving-object/previous-frame cues to move through corridors, collect reward-target cells, and avoid moving objects or hazards. Confidence: 72%

这令人印象深刻。我也在其他两个游戏上尝试了它。它在 1 小时 4 分 54 秒内识别出了 Pong（推理过程）：

Pong —— 具体来说，是一款类似 Pong 的挡板/球类游戏，智能体控制右侧的一个垂直挡板，必须上下移动以拦截或回击移动的球/奖励对象。 描述： 智能体在 8×8 网格中垂直移动右侧挡板，以击中或接住一个横跨场地的移动球状奖励目标；左侧的移动物体/对手以及墙壁边界定义了游戏区域；成功拦截/回击/得分可获得奖励，而漏接或未击中则会受到惩罚。 置信度： 75%

以及 Breakout（推理过程），耗时 52 分 25 秒：

游戏：Breakout，或一款类似 Arkanoid 的挡板/球/砖块游戏。 描述：智能体是位于底行的一块挡板，左右移动以保持球处于游戏中；球在上部网格中移动，顶行的砖块/奖励目标在被击中时提供奖励，而漏接球/撞到底部墙壁则结束回合或给予惩罚。 置信度：88%

Qwen 未能完成 Freeway 提示任务，这并不令我感到意外，因为与其他三款游戏相比，这款游戏更为冷门。这是相关记录——Qwen 认为它是“一款简化的类 Pac-Man 网格游戏：智能体进行四向移动”。

这些推理轨迹读起来很有趣，但几乎难以理解。以下是一个样本：

关于 agent channel0 呢？我们在 row8 col7/8 附近看到一些较大的 channel0 行，也许还有底部？让我们列出 channel0 的大值：line436 input435 (row8 col7 ch0) -2.107,1.169,0.513...; line441 input440 (row8 col8 ch0) -0.376,0.010,1.564,3.855...; line445 input444 (row8 col8 ch4) 0.142,0.491...; line382? input381 ch0? 等等 line382 input381: 381//5=76 (row7 col6), ch1? 381%5=1? 76 * 5=380, ch1。所以不是。Channel0 的大值可能仅在 row8 col7/8。顶部行呢？line44 input43 ch3, line49 ch3。Channel0 的大值可能不多。Agent 位置可能在右下角附近？如果 agent 通常位于右下角？

话虽如此，我预计一个经验丰富的人类，只要备好纸笔并付出足够努力，也能得出同样的结论。

这是一篇很棒的论文，但我看到围绕它的一些更广泛的评论似乎有些言过其实。我还没准备好断言源代码的时代已经结束，或者我们的未来将由那些以难以理解的方式编辑自身模型权重的、同样令人费解的机器来主导。

发布于 2026 年 11 月 3 日 下午 4 · 在 Mastodon、Bluesky、Twitter 上关注我，或 订阅我的新闻通讯