零冗余优化器

一种通过分片存储优化器状态、梯度和参数来减少显存占用的分布式训练技术。