OpenAI 宣布与 Goodfire、Apollo Research、METR、Transluce 启动首阶段嵌入式评估项目,外部专家可深度访问内部模型、检查点与训练数据。Goodfire 将派驻可解释性研究人员,以模型取证方式监测训练异常。此前 OpenAI 曾探讨以超 50 亿美元收购 Goodfire,最终因后者坚持独立经营未果。
机制可解释性
Mechanistic Interpretability
逆向解析神经网络内部计算回路,将黑箱模型转化为可理解、可控制系统的研究方向
收录情报动态
作者基于 Qwen3-1.7B 的残差流向量构建了数千段对话内部状态的交互式图谱,用于观察语义相近的对话是否在向量空间中聚集,以及同一概念在不同语言下是否落到相近区域。该工作属于机制可解释性方向的探索性可视化实践,为理解小模型对话表征结构提供了直观入口。
斯坦福一篇题为《A Circuit for In-Context Learning》的新论文指出,小模型的少样本能力并非真正“学会”新模式,而是靠标签查表:只有当同类标签在提示中重复出现时,模型才会触发这一查表机制。研究在 Qwen3-4B、SmolLM3-3B 与 Llama-3.2-3B 中追踪到完整路径——每个标签 token 存储所属句子类别,约 90 个靠后的注意力头负责将新句子与这些存储类别匹配。因此实用结论是:少样本提示中应重复每个标签,并只使用模型已能区分的类别,示例无法教给模型它本就缺失的特征。
OpenAI 前研究员 Nick Cammarata 指出,借助现代智能体工具,万亿参数级大模型的绝大多数神经元已变得清晰可读,推翻了早期“神经网络是任意纠缠结”的悲观观点。他认为随着自动化科学家能力的提升,机械可解释性问题可能在近期得到解决,这被视为该领域的一个“苦涩教训”:简单方法在极大尺度下依然有效。Sam Altman 对此表示高度认可。
最新研究挑战了 AI 可解释性领域的“叠加”主流理论,指出此前被视为多义性的神经元可能仅是对特定几何特征(如 V 形)的响应。若该观点成立,将大幅缩短自动化模型解析所需的时间,使机器理解内部机制成为可能。目前相关论文尚未正式发表,学界对此持谨慎乐观态度。
该资讯为 AI News 简报片段,提及 Nick Cammarata 关于智能体在可解释性与对齐方面取得重大进展的声明。由于原文内容严重截断且仅包含标题与导语,缺乏具体技术细节、实验数据或方法论支撑,无法验证其核心主张。
Goodfire 研究员 Nick Cammarata 发布重磅观点,认为神经网络内部机制本身即为可读构建块,无需先解耦叠加态。研究指出此前被视为“任意概念打包”的多义性与叠加现象,实为一种名为“递归泛化”的模式,这一发现大幅降低了机制可解释性的难度,使直接研究网络神经元与电路成为可能。
伯克利 AI 研究所推出 SPEX 与 ProxySPEX 框架,旨在大规模识别大语言模型中的高阶特征交互。该工具整合了 SHAP-IQ 库,通过结合特征归因、数据归因和机制可解释性视角,提升模型决策透明度并支持生成可验证假设。目前代码已开源,适用于基因组学等垂直领域的模型行为分析。