术语slug: continuous-diffusion-lm

连续扩散语言模型

Continuous Diffusion LM

在连续嵌入空间而非离散词表上执行加噪去噪的文本生成范式

收录情报动态

共 1 篇 · 第 1/1 页
Marktechpost (@Marktechpost)T2·基座大模型
78 分
英伟达发布 Sigma 扩散语言模型 解码提速 3.46 倍

英伟达发布 Nemotron-Labs-Sigma,共 14 个连续扩散语言模型检查点,覆盖 3B 与 8B 参数规模,核心创新是把扩散过程从离散 token 空间迁移到 16 维连续嵌入空间,逐块加噪去噪。Sigma-8B 在 6 任务基础套件上均分 71.16,略高于离散扩散模型 NLD-8B 的 70.22,自推测解码在单张 GB200 上平均提速 3.46 倍、最高 4.20 倍,但指令跟随均分 59.14 落后于 NLD-8B 的 59.92,AIME25 仅 17.00,显示推理能力仍是短板。