术语slug: gated-deltanet

门控 Delta 网络

Gated DeltaNet

将历史信息压缩为固定状态的线性注意力变体,用于降低长序列计算开销

收录情报动态

共 7 篇 · 第 1/1 页
Marktechpost (@Marktechpost)T2·基座大模型
88 分
阿里发布 2.4T 参数 Qwen4-Max 旗舰模型

阿里巴巴发布 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 架构,单 token 仅激活 71B 参数,输入定价为每百万 token 1.5 美元。核心创新在于重建的稀疏 MoE 栈:3 层 Gated DeltaNet 为每层 Qwen Sparse Attention 压缩历史,配合轻量索引器选取上下文,并叠加 4 条门控残差分支与 328B N-gram Embedding 参数。该模型在 16 项基准中的 4 项登顶,但编程与终端任务明显落后于 Claude Opus 5.5 与 Kimi K3.1,呈现明显的取舍。

IT之家 · 智能时代T2·基座大模型
88 分
阿里发布 2.4 万亿参数 Qwen4-Max 任务成本降超 60%

阿里通义千问团队正式上线旗舰模型 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 架构,原生支持视觉理解与 100 万 Token 上下文,官方称同等性能下任务成本降低超 60%。模型围绕 Gated DeltaNet、Qwen Sparse Attention、Gated Residual 与 N-gram Embedding 做系统性架构调整,面向办公、编程、科研等长周期专业任务,并已通过 QwenCloud API 开放,后续将陆续开源小尺寸同源模型。

Marktechpost (@Marktechpost)T2·基座大模型
78 分
qwenGPU 项目发布:在 Qwen3.5-2B 权重中编译 SIMT GPU

开发者推出 qwenGPU,将 45 层未训练的 SIMT GPU 架构直接编译进 Qwen3.5-2B 模型权重中。该项目利用 Gated DeltaNet 状态作为显存,实现了模型内部运行真实 CUDA 指令的能力,并在 Tesla T4 上验证了内核匹配度。尽管推理速度较慢且存在文本漂移,但这一实验展示了大模型权重作为通用计算载体的可能性。

Marktechpost (@Marktechpost)T2·开源与评测
85 分
Nace AI 开源 Drex Max v1 决策模型支持本地运行

Nace AI 开源了旗舰决策模型 Drex Max v1,该模型不生成文本,而是通过单次前向传播对选项输出概率分布。其采用 Gated DeltaNet 与全注意力混合架构,在公开决策基准上表现优于竞品,并支持在 Apple Silicon 等本地硬件上高效部署。

Hacker News AIT2·基座大模型
78 分
Qwen 权重编译 NES CPU 实现模型内运行游戏

nesformer 项目通过编译器将 NES 6502 CPU、RAM 及 ROM 逻辑直接映射至标准 Qwen3.5 模型权重中,无需训练即可在模型内部模拟执行。该方案利用 Gated DeltaNet 状态作为机器内存,使大语言模型能够逐 token 预测 CPU 执行日志,从而在约 1GB 的权重空间内完整运行《超级马里奥》等经典游戏。