Simon Willison 博客T2·基座大模型
78 分
Simon Willison 验证了 Qwen 3.8 27B 在笔记本电脑上也能执行“权重空间编程”,即直接解读和修改神经网络原始权重。这一发现证实了该前沿研究并非仅依赖超大模型,中等规模的开源模型同样具备从文本描述中重构或优化网络权重的能力。
Gradient-Free Optimization
不依赖反向传播计算梯度,而是通过智能体推理或搜索策略直接调整模型参数以提升性能的方法。
Simon Willison 验证了 Qwen 3.8 27B 在笔记本电脑上也能执行“权重空间编程”,即直接解读和修改神经网络原始权重。这一发现证实了该前沿研究并非仅依赖超大模型,中等规模的开源模型同样具备从文本描述中重构或优化网络权重的能力。
前沿大模型 Astra 展现出原生读取和写入神经网络权重的能力,无需梯度即可优化小模型。实验显示,Astra 通过修改 Qwen3.5-0.8B 仅 0.016% 的权重,使其 MATH-500 得分从 7.9% 跃升至 48.1%,并显著改善指令遵循能力。这一“权重空间编程”范式可能重塑模型优化与可解释性研究。