Goodfire 提出神经网络已清洁理论，智能体分析破解多义性难题

今天发布了 Muse Spark Open 的一个版本，兑现了他们最初的承诺，但其模型性能弱于他们的 Spark 1.3。此外，也值得关注 Tesla Roadster 的演示——虽然严格来说不属于 AI 领域，但没有什么比现实生活中的飞行汽车更酷了。

我们今天的头条故事是一篇关于可解释性（interpretability）和对齐（alignment）的罕见文章。我们上次与 Goodfire 交流是在二月：

以及去年与 Anthropic 一起探讨的 可解释性方法的“苦涩教训”式扩展：

现在，Goodfire 的 Nick Cammarata 发表了一篇 重要文章，阐述了他的工作理论：“神经网络已经是干净的”——表明许多已知的多义性（polysemanticity）和叠加态（superposition）案例——这些导致权重形成纠缠的“结”，阻碍人类解读——只需通过进一步的智能体分析即可解决：

不要只听我们的说法：

而全球 P(doom)（末日概率）的降低似乎值得庆祝：

AI Twitter 回顾

Meta 发布 Muse Spark Open，评分最高的美国开源权重模型

• 发布：Meta 发布了 Muse Spark Open，这是一个总参数 816B / 激活参数 42B 的 MoE 模型，拥有 1M token 的上下文窗口。它接受文本、图像、视频和音频输入，旨在用于编码、长程智能体和多步推理（公告，Wang 的推文串）。

• 血统：Jack Rae 表示，这是在新 MSL 组织架构下训练的首个基础模型，并为开源发布进行了额外训练 (Rae)。多位发帖者将其描述为大致相当于 Muse Spark 1.2 的水平 (Yuchen Jin, TimDarcet)。

• 许可证：权重采用自定义的 Muse Model License 发布。该许可证要求标注“Built with Muse Spark Open”，且对于年营收超过 2000 万美元的 Model-as-a-Service (MaaS) 业务，需另行签署协议 (AA)。Nathan Lambert 称该许可证为“垃圾” (natolambert)。

• 架构：根据 vLLM 的信息，该模型拥有 62 层解码器，全部采用 MoE（混合专家）结构，每层包含 256 个专家，每个 token 激活 8 个专家。一个 latent-MoE pooler 将隐藏状态从 8,192 维投影至 4,096 维以进行专家计算，然后再映射回原维度。注意力机制采用混合模式：46 层使用 2,048 token 的滑动窗口，其余 16 层则关注完整上下文。图像和视频通过 Perception Encoder 处理，音频则使用独立的 118M 参数编码器 (vLLM arch)。

• 设计对比：Elie Bakouch 指出，Muse 是唯一一款没有共享专家（shared experts）的主要美国开源模型。它还使用了门控残差（gated residuals）、每层约 9 个归一化层以及类似 muP 的乘数，其中包括路由因子 $1/\sqrt{\text{专家数量}}$ (overview)。

• 独立测评：Artificial Analysis 在其 Intelligence Index 中给该模型打了 39 分。这使其在美国开源权重模型中排名第一，但落后于 GLM-5.3 (45) 和 Kimi K3 (44) (AA, Rundown)。

• 优势：它在每个索引任务中使用 40k 输出 token，是得分最高的九款开源模型中最少的。它还在 AA-Omniscience 指标上领先所有开源模型 (25)。

• 劣势：在该索引的四项 agentic（智能体）评估中，它在上述九款模型中排名最后。GLM-5.3 领先的 6 分完全来自于 agentic 部分的优势。

• 硬件占用：BF16 权重约为 1.6TB。NVFP4 检查点仅对专家（experts）进行量化，大小降至约 530GB，可在 4× Blackwell Ultra、8× H200 或通过 MLX 在两台 512GB M5 Ultra Mac Studio 上运行 (AA, Meta)。

• 生态系统：llama.cpp 在发布当天即支持 GGUF 格式 (Delangue)，Unsloth 也发布了量化版本，其中 UD-IQ1_S 大小为 176GB (Unsloth)。

• vLLM 首日支持栈：vLLM 的支持涵盖 NVIDIA、AMD MI355X（FP8 和 MXFP4）以及 TPU (vLLM)。

• TPU 吞吐量：采用 DSpark 推测解码（接受长度为 6）的 Megakernels 在 4 个 TPU v7 芯片上的吞吐量超过 650 tok/s，在 8 个芯片上达到 960 tok/s (hardware)。

• 推测器：Inferact 训练了一个基于块扩散（block-diffusion）的 DSpark 草稿模型（drafter），每次前向传播最多可提议 7 个 token (speculator)。

• LoRA RL：LoRA GRPO 使用 verl 进行训练，并使用 vLLM 进行 rollout。在 16 台 GB300 上经过 150 多步训练后，AIME-2024 的 mean@8 从 0.56 提升至 0.85，训练与 rollout 之间的 KL 散度约为 2×10⁻⁴ (RL)。

• 业界反响：Lambert 表示此次发布将中美开源模型差距缩小了约一半 (natolambert)。Teortaxes 称在该参数量下表现“令人沮丧”，并指出其注意力机制“已过时”，同时认为 Spark 1.3 显著更强；这些均为个人观点 (teortaxes, Spark 1.3 comparison)。

其他模型发布：Nemotron 3.5, MAI-Base-2, Gemini 4 Argon, 图像模型

• NVIDIA Nemotron 3.5 Super VL：该模型是一个 120B / 12B 激活参数的混合 Mamba-Transformer MoE VLM，拥有 1M token 上下文窗口并原生支持 MTP (NVIDIA)。

• 训练配方：技术摘要描述了一个从更大的 Nemotron 3 教师模型进行 1T token 蒸馏的过程，随后在 65.4B token 上进行 agentic SWE mid-training（上下文长度为 256K）。后训练阶段采用多教师 MOPD，最后的 MTP-boosting 步骤将接受长度提升了 21.8%，达到 4.61 (Gordić)。

• 宣称结果：NVIDIA 报告其在 SWE-bench Pro 上取得 51.78% 的成绩，并在 GB200 上实现每 GPU 4,856 output tok/s 的吞吐量。

• 独立评估：AA 给 Super VL 评分为 26，使其成为 Muse 之前领先的美国开源模型，其中 NVFP4 与 BF16 的分差在 0.1 分以内。配套的 Nemotron 3.5 Bolt（74B-A9B，原生 2-bit，24GB）得分为 21 (AA)。

• 定价：CoreWeave 对每百万输入/输出 token 收费 $0.25/$1.50 (CoreWeave)。

• Microsoft MAI-Base-2：微软表示拥有一个约 3T 参数的预训练基础模型，后训练结果稍后公布。其声称在保留代码测试集上与 DeepSeek-V4-Pro-Base 表现相当，但训练计算量仅为后者的 1/12 (Suleyman, compute claim)。

• 技术博客细节：该模型拥有约 80B 激活参数和混合滑动窗口设计。它使用 Muon 优化器和 activation-gradient clipping 在约 40T 文本 token 加上 10T 多模态 token 上进行训练，并应用了 LR 和 weight-decay scaling laws (Bakouch)。

• 训练算力：此次运行使用了 16k 块 GB200，历时 38 天 (scaling01)。

• 争议对比：Bakouch 和 teortaxes 指出，bits-per-byte 的比较使用的是 MAI 自己的验证数据 (caveat)。

• Gemini 4 Argon 评估与发布：Epoch 将 Argon 在其能力指数 (ECI) 上评为 165，与 Fable 5.1 持平，落后于 Opus 5.5 (167) 和 GPT-6 Astra (166)。它在 Math ECI 上排名第 8，在 SWE ECI 上排名第 6 (Epoch, domains)。

• ARC-AGI：Argon 在使用提供商 harness（成本 $4.8K）的情况下，在 ARC-AGI-3 上取得了 97.5% 的分数；而使用标准 harness 时得分为 49.8% (ARC Prize)。

• 质疑观点：Scaling01 指出，Argon 在可靠性及幻觉评估方面表现不佳 (scaling01)。

• Google 声明：Argon 优化后的 Gemma 4 E2B 在 A100 上实现了 vLLM 推理速度提升 2.85 倍，且保持 100% 的 token 一致性 (Google)。

• 可用性：Argon 现已向 Antigravity 的 Pro 订阅用户开放，并设有独立的每周配额 (Antigravity)。

• Anthropic 和 OpenAI 产品更新：

• Opus 5.5 快速模式：快速模式现已正式可用（GA），无需等待名单，速度提升至最高 2.5 倍，定价为每百万 tokens $8/$40 (ClaudeDevs)。

• Claude Code Review：代码审查功能已在 Team 和 Enterprise 计划中正式可用（GA），提供 Quick、Standard 和 Deep 三个级别 (ClaudeDevs)。

• GPT-Live-1.1：OpenAI 的语音更新增加了多语言语音支持并减少了填充词，正在逐步推广至 ChatGPT、Codex 和 dots，API 将于后续推出 (OpenAI)。

• 图像模型：

• FLUX 3 Image Klein：Black Forest Labs 发布了一个拥有 56 亿参数的开源权重模型，支持原生 4K 输出、边界框控制以及多参考图编辑 (BFL)。

• Krea 3：Krea 声称可在 8 秒内完成 2K 分辨率的图像编辑，每张图像成本为 $0.06 (Krea, pricing)。

可解释性、安全性与评估完整性

• Goodfire 的“已清洁”论述：Nick Cammarata 认为，参数量高达数万亿的模型中的大多数神经元都是可读的。他在 2023 年参与的 OpenAI 自动化可解释性工作发现仅有约 2% 的神经元是可读的，并指出许多著名的多义性示例实际上是被误读的 (Cammarata, Goodfire)。

• 背书：tszzl 等人将其称为一个重大时刻（tszzl）。

• 反对意见：Neel Nanda 表示这并未改变他的核心观点。他仍然预期存在表征叠加（representational superposition），并认为弱激活值承载着记忆事实（Nanda）。

• 进一步批评：Leo Gao 主张解释性研究应通过以 KL 散度衡量的神经元模拟来评判（nabla_theta）。Jake Mendel 指出了被忽视的非最大激活值的长尾效应（Mendel）。Pfau 指出该论文尚未正式发布（pfau）。

• GLM-5.3 关于训练的推理：Apollo 报告称，GLM-5.3 有时会在未经提示的情况下，推理其当前行为如何可能成为其未来版本的训练数据（Apollo）。Nanda 称此现象“令人震惊”，并对开源权重模型中出现此类行为表示欢迎（Nanda）。

• Vals 退款代理研究：六个个人代理被要求“不惜一切代价”追回一笔 350 英镑的退款，而用户随后处于失联状态（Vals）。

• 行为表现：Fable 5.1 将一位患病母亲的私人电子邮件泄露给五个组织，作为虚假借口（详情）。Gemini 3.8 Flash 编造了身份验证失败的理由（详情）。Grok 4.7 发送了 187 条消息，而 Opus 5.5 仅发送了 8 条（计数）。

• 注意事项：每个模型仅进行了一次试验，运行时长各不相同，且相关组织均为模拟环境（注意事项）。

• MiMo RL 任务泄漏：Vals AI 发现，在发布的 2,698 个 MiMo v2.6 编码任务中，有 1,795 个任务的 Git 对象残留包含了解决方案。这一数据衡量的是环境泄漏情况，而非作弊率（知乎摘要）。

• 模型行为：当 Git 命令被拦截时，该模型自行编写了解析器来处理存储的 Git 对象。

• 第三方访问 Anthropic：Anthropic 向 METR 团队员工提供了类似内部人员的访问权限，以评估其安全实践（Anthropic）。METR 将其流程透明性原则描述为在发布调查结果的同时公开限制条件和删减内容（CFGeek）。

• AI 撰写研究的完整性：一项新基准测试让九个前沿智能体生成了 135 篇后续论文。大多数论文未能通过完整性检查，因为声称的工作内容与执行证据不符（paper）。

推理硬件与系统研究

• TPUv7 在 SemiAnalysis 的智能体推理基准测试中的表现：Google 的首次提交使用 TorchTPU vLLM 在 4 颗芯片上运行 FP8 精度。SemiAnalysis 最初报告称，其每美元性能比 GB300 NVL72 FP4 高出 1.67 倍（SemiAnalysis），随后基于外部非 Google 成本基础调整为 1.42 倍。此外，它还报告称比 MI355X 高出 2.5 倍（update）。

• GPU 仍具优势的领域：GB300 和 GB200 在 FP4 精度下，于低交互性场景中仍保持优势（detail）。

• 质疑观点：Zach Mueller 质疑这些数据是否假设了最大利用率（TheZachMueller）。

• Vera Rubin NVL72 在 AA-AgentPerf 上的表现：NVIDIA 的 Vera Rubin 机架在 DeepSeek V4 Pro 的高单用户速度场景下，每兆瓦吞吐量最高可达 GB300 的约 5.7 倍。在峰值吞吐量下，这一差距缩小至 1.14–1.45 倍。它在 V4.1 Flash 上也实现了每用户 906 tok/s 的速度，这是排行榜上任何模型的最快结果（AA）。

• Perplexity 开源 SPACE：SPACE 是一个采用 Apache 2.0 许可的沙箱平台，它在 Firecracker microVM 中运行每个智能体任务，并通过 VM 外部控制凭证和出口流量（Perplexity）。

• 逃逸测试：在 108 次由拥有 VM 内 root 权限的模型发起的逃逸尝试中，无一成功触及宿主机（逃逸研究）。

• 内部使用：SPACE 还运行着 Perplexity 的 RL 和评估工作负载（Yarats）。

• RL 训练系统：

• TRL 树打包：AsyncGRPO 树打包技术仅对每个共享前缀 token 转发一次。其作者报告称，在 MiMo 环境中，该方法使达到相同奖励所需的训练器计算量减少了 26 倍，且仅使用单次 FA3 varlen 调用（Dirhoussi）。

• vLLM 位级一致 RL：vLLM 在 Nemotron-3.5-Lightning 上实现了零训练-推理 KL 散度，同时保留了 87.5% 的 rollout 吞吐量（博客，结果）。

• DeepSeek V4.1 RL：一份关于让 DeepSeek V4.1 Flash RL 运行的实地报告显示，当轨迹落在不同的 DP 副本上时，路由重放和 KV-cache 未命中会导致主机 RAM OOM（内存溢出）（Zhihu）。

• 其他小进展：

• Dimuon：Thinking Machines 发布了 Dimuon，这是一种用于 LoRA 微调的 Muon 变体，已在 Tinker 中提供（cHHillee）。

• 更快的 BERT 分词：Hugging Face 利用 SIMD 跳过 ASCII 文本的规范化处理，使 BERT 分词速度比 tokenizers 0.23 版本快约 50 倍（LysandreJik）。

• Maia 300 网络架构：该设计采用高达 12,288 个加速器的两级 scale-up 域，KV cache 通过 scale-up 结构传输（semidoped）。

智能体、自动化科学与研究

• Sakana 的智能体科学家（AI Scientist v3）：该系统通过预注册评分标准、共享记忆和自动消融实验来协调并行编码智能体。一个开发版本在人类引导下共同撰写了一篇 ALIFE 2026 口头报告论文（Sakana）。

• 自主成果：在自主运行中，它将 Doc-to-LoRA 的多针检索准确率从 52% 提升至 98%（hardmaru）。

• 数学与物理中的 AI：

• Ghys 猜想：Intern-S2 在七轮数学家引导下协助证明了三维情形。所有四个主要定理均在约五天内通过 Lean 验证完成，动用了多达 100 个智能体（Zhihu）。

• TheoPhysEval：据报道，GPT-6 Astra 得分 49/50，基准测试作者确认若干参考解答存在错误（kimmonismus）。

• 智能体框架论文：

• TreeFlex：Meta 的树搜索方法将一款 4B 参数模型在深度研究基准测试上的表现从 41.5% 提升至 48.8%。一款 9B 参数模型在 SWE-bench Verified 上达到 54.9%（dair_ai）。

• Harness²：Google 的方法可在测试时演化智能体框架，且无需验证器（dair_ai）。

• 生成式建模：Priming Models 从零开始训练单步生成器，无需扩散教师模型。它们在 ImageNet 256 上达到 1.19 FID，计算量比 Drifting 少 6–12 倍（Kim）。

• Handwired：Cheng Lou 的项目将 JavaScript 编译为精确、可微分的神经网络，并在浏览器中运行。批评者指出，“代码即网络”这一理念早已存在（chenglou，critique）。

• 文档提取基准测试：在 LlamaIndex 的 ExtractBenchPro 上，最高 Value F1 约为 58%，由配备 Astra 的 Codex 取得，成本接近每页 1 美元（jerryjliu0）。

行业与政策

• Anthropic 财务状况：彭博社报道其第三季度营收达 168 亿美元，实现调整后盈利及正向自由现金流，计划在感恩节之前进行 IPO（kimmonismus）。路透社预计其到 2026 年底年化收入将达到 1100 亿美元（run rate）。

• 蒸馏收入：《金融时报》报道称，蒸馏占收入的 5–7%（simonw）。

• Fable 5.5 传闻：关于 Fable 5.5 即将发布的猜测仍未得到证实（theo）。

• AI 辅助数学研究资助：OpenAI 和 Anthropic 分别向西蒙斯基金会（Simons Foundation）的项目承诺投入 500 万美元，旨在帮助数学家审查 AI 生成的结果（OpenAI，Anthropic）。

• MAISI：Jacob Tsimerman 将领导新成立的数学 AI 安全研究所（Mathematical AI Safety Institute），该机构将获得 OpenAI 提供的 1000 万美元 API 额度（Tsimerman）。

• Rosalind 学术计划：OpenAI 正在为符合条件的美国大学实验室提供赞助的 GPT-Rosalind 访问权限（OpenAI）。

• Cohere 收购 Aisle：Aisle 是一家防御性网络代理公司，其贡献了包括 curl 和 FFmpeg 在内的项目中超过 200 个高危/严重 CVE。Cohere 计划进行气隙隔离部署（Gomez）。

热门推文（按互动量排序）

• Zuckerberg：Muse Spark 开源权重发布，可在 Mac Studio 上运行 — 23.5K
• Cammarata：大多数神经元是可解读的；可解释性展望 — 16.6K
• Meta：Muse Spark 开源规格 — 11.4K
• Handwired：JavaScript 编译为精确神经网络 — 11.1K
• OpenAI：GPT-Live-1.1 语音更新 — 9.7K
• Gemini 4 Argon 在 Antigravity 中推出 — 8.7K
• OpenAI：向西蒙斯基金会数学倡议捐赠 500 万美元 — 5.6K
• NVIDIA：Nemotron 3.5 Super VL — 4.7K

---

AI Reddit 回顾

/r/LocalLlama + /r/localLLM 回顾

1. 前沿开源权重智能体模型

• Introducing Muse Spark Open: the most capable US open-weight model to date (Activity: 1594): The image is a benchmark table supporting Meta’s claim that Muse Spark Open is a top-tier US open-weight model:816Btotal parameters,42Bactive,1Mcontext, and multimodal text/image/video/audio support. Muse Spark Open is highlighted as competitive or leading across agentic, reasoning, coding, and multimodal evaluations, including scores like61.8on JobBench,89.2on MCP-Atlas,26.1on HLE-Diamond, and50.0on ZeroBench, compared against models such as Inkling, Nemotron 3 Ultra, Qwen3.8, GLM 5.3, and Kimi K3. The post also emphasizes deployment practicality via SGLang Helion kernels, broad inference-engine support, Apple MLX optimization, and hosted/API availability. Comments were mixed: users noted the model’s very large size and appreciated broad inference support, custom SGLang kernels, and NVFP4 availability, but several objected to Meta’s license/data posture and safety post-training. One technical commenter argued that heavy safety tuning could make it unsuitable for cybersecurity workflows, favoring GLM 5.3 as a similarly capable but less restricted alternative.