Today for AI
返回热点榜
compute热度 16.0°

AI 聚合热点事件 · 2026/11/4

NVIDIA 发布 DGX Spark MoE 推理加速方案

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/4 04:39:20
全景综述与最新动态
1 家信源交叉印证

NVIDIA 针对单卡 DGX Spark 提出三种混合专家（MoE）推理优化策略，并在蚂蚁集团 Ling-3.0-flash 模型上验证。通过减少每步数据搬运量与引入投机解码，在 GSM8K 基准测试中实现解码吞吐量提升 42.5%，平均延迟降低 24.5%，且准确率基本持平。该方案揭示了小批量场景下内存带宽瓶颈的突破路径，但需注意特定模块依赖对性能的影响。

最新动向/NVIDIA 针对单卡 DGX Spark 提出三种混合专家（MoE）推理优化策略，并在蚂蚁集团 Ling-3.0-flash 模型上验证。通过减少每步数据搬运量与引入投机解码，在 GSM8K 基准测试中实现解码吞吐量提升 42.5%，平均延迟降低 24.5%，且准确率基本持平。该方案揭示了小批量场景下内存带宽瓶颈的突破路径，但需注意特定模块依赖对性能的影响。

逐小时热度走势

2 个完整观测小时
连续完整观测不足 3 个小时，暂不绘制趋势曲线。

报道时间线

共 1 篇 · 最新优先
  1. Marktechpost (@Marktechpost)T2·68 分

    NVIDIA 发布 DGX Spark MoE 推理加速方案

    原标题：▲ NVIDIA just published 3 ways to speed up MoE inference on a single DGX Spark, tested on Ant Group ...

    • DGX Spark 上的 MoE 推理优化使吞吐提升 42.5%，延迟降低 24.5%
    • 核心思路是解决 batch size=1 时的内存带宽瓶颈，而非计算瓶颈
    • 采用 Humming MoE kernels、FP8 LM head 及内置 MTP 投机解码技术
NVIDIA 发布 DGX Spark MoE 推理加速方案 | Today for AI