混合专家架构

一种通过门控机制在推理时仅激活部分专家子网络以平衡计算成本与模型容量的稀疏架构。