机器之心 (微信公众号)T2·85 分
DeepMind 曝 Softmax 与交叉熵隐藏 Bug,Gemini 辅助修复
原标题:PyTorch、JAX都被点名!Softmax曝出隐藏Bug,Gemini立功
- PyTorch、JAX、TensorFlow 等主流框架的 Softmax 和交叉熵实现存在隐蔽的数值精度 Bug
- Bug 可能在特定训练阶段改变梯度,导致损失飙升或模型能力退化
- 通过调整计算方式即可修复,无需提高浮点精度或重新设计损失函数
- Gemini 模型在发现该 Bug 及执行大量验证实验中起到了关键作用