Today for AI
返回热点榜
llm热度 14.8°

AI 聚合热点事件 · 2026/11/14

腾讯新研究揭示 MoE 领域技能分散于专家内部神经元

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/14 00:37:59
全景综述与最新动态
1 家信源交叉印证

腾讯论文发现，MoE 模型中的数学、代码等领域能力并非集中在单个专家，而是分散在跨专家的稀疏神经元上。基于路由贡献度评分（RAMP）的神经元级剪枝，在保留 75% 神经元时仍维持 91%-98% 性能；保留 50% 时 GPU 显存下降 36%-43%，批量预填充吞吐提升 17%-39%。这为 MoE 压缩提供了替代整专家剪枝的新路径。

最新动向/腾讯论文发现，MoE 模型中的数学、代码等领域能力并非集中在单个专家，而是分散在跨专家的稀疏神经元上。基于路由贡献度评分（RAMP）的神经元级剪枝，在保留 75% 神经元时仍维持 91%-98% 性能；保留 50% 时 GPU 显存下降 36%-43%，批量预填充吞吐提升 17%-39%。这为 MoE 压缩提供了替代整专家剪枝的新路径。

逐小时热度走势

2 个完整观测小时
连续完整观测不足 3 个小时，暂不绘制趋势曲线。

报道时间线

共 1 篇 · 最新优先
  1. Rohan Paul (@rohanpaul_ai)T2·72 分

    腾讯新研究揭示 MoE 领域技能分散于专家内部神经元

    原标题：New Tencent paper shows domain skills (like math or coding ) in Mixture of Experts models sit in sca...

    • 领域技能分散在跨专家的稀疏神经元上，而非绑定于单个专家
    • RAMP 按路由贡献度评分剪枝，保留 75% 神经元仍维持 91%-98% 性能
    • 保留 50% 神经元时显存降 36%-43%，批量预填充吞吐提升 17%-39%