机器之心 (微信公众号)T2·78 分
Q Labs 推出 Dust 算法 实现无梯度 Transformer 预训练
原标题：不用反向传播，也能预训练Transformer，Jeff Dean投的这家公司出成果了
- Dust 是一种零阶优化方法，不依赖梯度计算即可训练神经网络
- 核心机制是向每层输出激活值注入独立的高斯噪声，形成并行评估的“虚拟种群”
- 通过比较噪声扰动后的 Loss 变化加权平均，间接生成参数更新方向
- 旨在解决反向传播无法处理不可微模块、离散操作及外部程序的限制
返回热点榜
llm热度 9.5°
AI 聚合热点事件 · 2026/10/26
Q Labs 推出 Dust 算法 实现无梯度 Transformer 预训练
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/10/26 14:13:00
全景综述与最新动态
1 家信源交叉印证初创实验室 Q Labs 发布名为“Dust”的零阶优化方法，声称这是首个在 Transformer 预训练中能与反向传播正面竞争的非梯度技术。该方法通过向激活值添加高斯噪声构建“虚拟种群”，利用前向传播并行评估损失变化来估计更新方向，从而突破反向传播对可微性的限制。
最新动向/初创实验室 Q Labs 发布名为“Dust”的零阶优化方法，声称这是首个在 Transformer 预训练中能与反向传播正面竞争的非梯度技术。该方法通过向激活值添加高斯噪声构建“虚拟种群”，利用前向传播并行评估损失变化来估计更新方向，从而突破反向传播对可微性的限制。
逐小时热度走势
3 个完整观测小时当前
9.5
峰值
10.022:00
近 24h 变化
–
曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。