Hacker News AIT2·基座大模型
78 分
博主 Nathan Barry 分析 MIT CSAIL 提出的“权重空间编程”后发现，GPT-6 Astra 对 Qwen3.5-0.8B 的权重编辑本质上是靠试错求解一个线性规划问题，耗时约 8 小时、28 次前向传播。改用两次约一分钟的 LP 求解即可达到同等效果，且改动权重数量减少 8 倍。该结果说明权重空间编程的核心机制可被经典优化方法高效复现，对模型权重编辑与免梯度微调路线具有直接参考价值。
MIT CSAIL
麻省理工学院旗下最大的跨学科计算研究实验室，覆盖 AI、系统与理论等方向
博主 Nathan Barry 分析 MIT CSAIL 提出的“权重空间编程”后发现，GPT-6 Astra 对 Qwen3.5-0.8B 的权重编辑本质上是靠试错求解一个线性规划问题，耗时约 8 小时、28 次前向传播。改用两次约一分钟的 LP 求解即可达到同等效果，且改动权重数量减少 8 倍。该结果说明权重空间编程的核心机制可被经典优化方法高效复现，对模型权重编辑与免梯度微调路线具有直接参考价值。