Wide-EP

一种针对混合专家模型的大范围并行策略，通过在多个设备间分布专家网络以提升大规模集群下的扩展性和负载均衡效率。