InfoQ 中文T2·85 分
Clover-35B 开源:扩散模型首用 MoE,挑战 Agent 编程
原标题:不再逐个生成 Token:扩散模型迈向 35B,开始挑战 Agent 编程
- 首次将 MoE 架构引入大规模扩散语言模型,平衡参数规模与推理效率
- 生成速度达到 680 tokens/s,显著优于传统自回归模型的串行解码
- 在部分 Agent 任务和通用评测中表现达到或超过同等规模的自回归模型
AI 聚合热点事件 · 2026/10/28
深圳公司 DiffuSpace 发布并开源 Clover-35B-A3B-Preview,这是首个将混合专家(MoE)架构应用于大规模扩散语言模型(dLLM)的尝试。该模型总参 35B、激活参 3B,生成速度达 680 tokens/s,旨在通过并行解码突破自回归模型的串行瓶颈,并在部分 Agent 任务中展现出与同规模自回归模型相当甚至更优的能力。
原标题:不再逐个生成 Token:扩散模型迈向 35B,开始挑战 Agent 编程