Hacker News AIT2·基座大模型
78 分
博主 Nathan Barry 分析 MIT CSAIL 提出的“权重空间编程”后发现,GPT-6 Astra 对 Qwen3.5-0.8B 的权重编辑本质上是靠试错求解一个线性规划问题,耗时约 8 小时、28 次前向传播。改用两次约一分钟的 LP 求解即可达到同等效果,且改动权重数量减少 8 倍。该结果说明权重空间编程的核心机制可被经典优化方法高效复现,对模型权重编辑与免梯度微调路线具有直接参考价值。
通义千问系列 0.8B 参数小模型,在实验中作为权重编辑对象
博主 Nathan Barry 分析 MIT CSAIL 提出的“权重空间编程”后发现,GPT-6 Astra 对 Qwen3.5-0.8B 的权重编辑本质上是靠试错求解一个线性规划问题,耗时约 8 小时、28 次前向传播。改用两次约一分钟的 LP 求解即可达到同等效果,且改动权重数量减少 8 倍。该结果说明权重空间编程的核心机制可被经典优化方法高效复现,对模型权重编辑与免梯度微调路线具有直接参考价值。