探索索引

数据并行注意力

在注意力机制层采用数据并行策略,使不同批次或序列的注意力计算分布在多个设备上,常与专家并行结合用于大规模 MoE 部署。

暂时没有与该实体关联的公开内容。

数据并行注意力 | Today for AI