跳到主要内容
Today for AI
探索索引
←
返回术语
数据并行注意力
在注意力机制层采用数据并行策略,使不同批次或序列的注意力计算分布在多个设备上,常与专家并行结合用于大规模 MoE 部署。
暂时没有与该实体关联的公开内容。
数据并行注意力 | Today for AI