Hacker News AIT2·78 分
线性规划可替代权重空间编程 改动减少 8 倍
原标题:Can a Linear Program Do Weight-Space Programming?
- Astra 对 Qwen3.5-0.8B 仅改 0.016% 权重即将 MATH-500 从 7.9% 提升至 48.1%
- 该编辑过程本质是试错求解线性规划,两次 LP 求解即可复现且改动量减少 8 倍
- 权重空间编程的搜索环节可被经典优化方法替代,降低对长时推理的依赖
AI 聚合热点事件 · 2026/11/11
博主 Nathan Barry 分析 MIT CSAIL 提出的“权重空间编程”后发现,GPT-6 Astra 对 Qwen3.5-0.8B 的权重编辑本质上是靠试错求解一个线性规划问题,耗时约 8 小时、28 次前向传播。改用两次约一分钟的 LP 求解即可达到同等效果,且改动权重数量减少 8 倍。该结果说明权重空间编程的核心机制可被经典优化方法高效复现,对模型权重编辑与免梯度微调路线具有直接参考价值。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:Can a Linear Program Do Weight-Space Programming?