路由贡献度评分

腾讯论文发现，MoE 模型中的数学、代码等领域能力并非集中在单个专家，而是分散在跨专家的稀疏神经元上。基于路由贡献度评分（RAMP）的神经元级剪枝，在保留 75% 神经元时仍维持 91%-98% 性能；保留 50% 时 GPU 显存下降 36%-43%，批量预填充吞吐提升 17%-39%。这为 MoE 压缩提供了替代整专家剪枝的新路径。