分布式通信

多设备间交换梯度或激活值以实现并行训练的技术