Astra 模型直接读写权重 显著提升 Qwen 数学能力
原标题：Astra can read and write weights to improve Qwen
92AI 研判分
前沿大模型 Astra 展现出原生读取和写入神经网络权重的能力，无需梯度即可优化小模型。实验显示，Astra 通过修改 Qwen3.5-0.8B 仅 0.016% 的权重，使其 MATH-500 得分从 7.9% 跃升至 48.1%，并显著改善指令遵循能力。这一“权重空间编程”范式可能重塑模型优化与可解释性研究。
报道正文
TL;DR
我们发现，前沿大语言模型（LLM）在原生读写神经网络权重方面表现出惊人的能力，远超人类或传统算法的预期。这对优化和可解释性领域可能具有重大意义。
仅通过观察原始权重，GPT-6 Astra 就能判断网络被训练的目标。并且，在没有任何环境反馈的情况下，它能够从零开始编写小型游戏博弈网络，其表现甚至优于经过 1 亿步 PPO 训练的网络。
同样地，当被要求在不使用梯度的情况下提升 Qwen3.5-0.8B 的数学能力时，Astra 识别出其权重中导致推理循环的问题——这正是 Qwen 官方 模型卡 所警告的现象——并通过原生编辑 0.016% 的权重修复了这一问题。在相同的采样设置下，这一权重修正使 MATH-500 准确率从 7.9% 提升至 48.1%，并开箱即用地泛化到指令遵循任务，将 IFEval 得分提高了 3 倍。
这一切的实现无需允许 Astra 编写训练循环。它利用自身的推理能力来理解神经网络的各个部分计算了什么、或者应该计算什么，并据此修改权重。我们将此称为 权重空间编程（Weight-Space Programming）。
纵观深度学习历史，我们将简化的归纳偏置编码进像 Adam 或 Muon 这样微小的符号优化器中。这种局面正在改变：我们的神经网络权重即将由那些刻意对其权重进行推理的大语言模型 原生 优化。