混合线性 MoE

一种结合线性注意力机制与稀疏专家路由的架构，旨在降低长序列推理的计算开销并提升模型容量。