阿里巴巴发布 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 架构,单 token 仅激活 71B 参数,输入定价为每百万 token 1.5 美元。核心创新在于重建的稀疏 MoE 栈:3 层 Gated DeltaNet 为每层 Qwen Sparse Attention 压缩历史,配合轻量索引器选取上下文,并叠加 4 条门控残差分支与 328B N-gram Embedding 参数。该模型在 16 项基准中的 4 项登顶,但编程与终端任务明显落后于 Claude Opus 5.5 与 Kimi K3.1,呈现明显的取舍。
门控 Delta 网络
Gated DeltaNet
将历史信息压缩为固定状态的线性注意力变体,用于降低长序列计算开销
收录情报动态
阿里通义千问团队正式上线旗舰模型 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 架构,原生支持视觉理解与 100 万 Token 上下文,官方称同等性能下任务成本降低超 60%。模型围绕 Gated DeltaNet、Qwen Sparse Attention、Gated Residual 与 N-gram Embedding 做系统性架构调整,面向办公、编程、科研等长周期专业任务,并已通过 QwenCloud API 开放,后续将陆续开源小尺寸同源模型。
开发者推出 qwenGPU,将 45 层未训练的 SIMT GPU 架构直接编译进 Qwen3.5-2B 模型权重中。该项目利用 Gated DeltaNet 状态作为显存,实现了模型内部运行真实 CUDA 指令的能力,并在 Tesla T4 上验证了内核匹配度。尽管推理速度较慢且存在文本漂移,但这一实验展示了大模型权重作为通用计算载体的可能性。
Nace AI 开源了旗舰决策模型 Drex Max v1,该模型不生成文本,而是通过单次前向传播对选项输出概率分布。其采用 Gated DeltaNet 与全注意力混合架构,在公开决策基准上表现优于竞品,并支持在 Apple Silicon 等本地硬件上高效部署。
nesformer 项目通过编译器将 NES 6502 CPU、RAM 及 ROM 逻辑直接映射至标准 Qwen3.5 模型权重中,无需训练即可在模型内部模拟执行。该方案利用 Gated DeltaNet 状态作为机器内存,使大语言模型能够逐 token 预测 CPU 执行日志,从而在约 1GB 的权重空间内完整运行《超级马里奥》等经典游戏。
开发者发布实验性模型 Qwenputer,基于 Qwen3.5-4B 将 32 位 RISC-V 指令集编译进权重,利用门控 DeltaNet 状态模拟内存。该方案使模型无需外部工具即可执行算术与程序,大整数运算准确率从约 50% 提升至 97.5%-100%,但导致模型体积翻倍至 18.8GB。
研究人员 Divyansh Agrawal 推出实验性模型 Qwenputer,将完整的 RISC-V CPU 逻辑直接编译进 Qwen 3.5 4B 的权重中。该架构利用 Gated DeltaNet 注意力层作为 RAM,使模型能在前向传播内部独立执行算术运算及 C/MicroPython 代码,无需任何外部运行时或工具调用。