英伟达发布 Sigma 扩散语言模型 解码提速 3.46 倍

作者:▲ Marktechpost AI (@Marktechpost)原标题:▲ NVIDIA just released Nemotron-Labs-Sigma, 14 continuous diffusion language model checkpoints at 3B...
78AI 研判分

英伟达发布 Nemotron-Labs-Sigma,共 14 个连续扩散语言模型检查点,覆盖 3B 与 8B 参数规模,核心创新是把扩散过程从离散 token 空间迁移到 16 维连续嵌入空间,逐块加噪去噪。Sigma-8B 在 6 任务基础套件上均分 71.16,略高于离散扩散模型 NLD-8B 的 70.22,自推测解码在单张 GB200 上平均提速 3.46 倍、最高 4.20 倍,但指令跟随均分 59.14 落后于 NLD-8B 的 59.92,AIME25 仅 17.00,显示推理能力仍是短板。

报道正文

▲ Marktechpost AI · 2026-11-20 14

▲ NVIDIA 刚刚发布了 Nemotron-Labs-Sigma,共 14 个连续扩散语言模型检查点,规模为 3B 和 8B,其去噪文本的方式与图像模型对像素去噪的方式类似。

其核心思路是将扩散过程移出离散 token 空间。每个 token 都成为学习得到的 16 维嵌入空间中的一个点。模型向这些点添加高斯噪声,并学习逐块去除噪声。平滑的轨迹使少步蒸馏和引导变得切实可行。

在 NVIDIA 的 6 任务基础套件上,Sigma-8B 平均得分为 71.16,而 NVIDIA 的离散扩散模型 NLD-8B 为 70.22。HumanEval 上为 65.12 对 62.80。在单台 GB200 上,自推测式 8B 的解码速度平均比 AR 快 3.46 倍(最高可达 4.20 倍)。不过这也有取舍:instruct 平均分为 59.14,落后于 NLD-8B 的 59.92,而 AIME25 仅为 17.00……

完整分析:

推文配图