针对大模型强化学习中采样器与训练器数值不一致导致训练失稳的痛点,该工作提出在 Cloud TPU 上实现逐位零误差(bitwise-zero)的训练-推理一致性方案。通过模块化内核模式与三方验证契约,使采样与训练对同一策略的评估完全对齐,可直接接入现有多主机 JAX/TPU 服务与训练流水线,并正扩展至线性注意力与 MoE 架构。
线性注意力
Linear Attention
以线性复杂度近似标准注意力、降低长序列计算开销的机制
收录情报动态
TokenSpeed 推出专为 Agentic 工作负载设计的下一代 LLM 推理引擎,针对多轮短请求与长上下文复用场景优化。该引擎在 Blackwell 平台上实现比 TensorRT-LLM 高 11% 的吞吐率,并显著提升了 KV Cache 复用效率以降低成本。
复旦大学创智学院 OpenMOSS 团队发布论文《Mechanics of Long-Context Hybrid Models》,系统研究了长上下文大模型的混合架构设计。研究指出,相较于单一选择滑窗或线性注意力,同时结合全注意力、滑窗注意力(SWA)和门控线性注意力(GLA/GDN)的“全都要”策略能更有效地平衡计算效率与建模能力。该工作通过多规模实验验证了不同注意力机制的协同效应,为下一代高效长文本模型架构提供了理论依据与实践指导。
本文深入剖析线性注意力机制从 DeltaNet、GDN 到 KDA 的架构演进,重点阐述如何将复杂的非线性 RNN 门控推导为仿射变换与下三角矩阵求解。文章揭示了在模型表达能力与硬件计算吞吐之间寻求平衡的技术逻辑,适合希望理解大模型底层推理机制的开发者阅读。
韩国游戏巨头 KRAFTON 旗下 AI 部门发布并开源了从头训练的 Raon-1 mini 预览版。该模型采用 30B-A4B 混合专家架构,集成线性注意力与推测解码技术,以 Apache 2.0 许可开放。官方称其在编程和智能体任务上性能媲美 Meta Muse Glimmer 30B,且具备更高的推理速度与内存效率。
阿里巴巴 Qwen 团队推出 FlashQLA,专为 GDN 线性注意力设计的高性能 GPU 算子库。该工具通过硬件友好代数改写与序列并行优化,解决长序列下的访存冗余与 SFU 过载问题,在 Hopper/Blackwell 架构上实现前向与反向加速 2-3 倍。
i14 推出的 Laplace 3B 采用线性注意力架构,其循环状态大小固定为 29.5 MB,不随上下文长度增长。该模型通过 TorchNeuron Native 在 AWS Trainium2 上实现了原生 PyTorch 支持,保留了 Gated Linear Attention (GLA) 设计与 Muon 优化器。实测显示,单台 trn2.48xlarge 实例可实现约 120k tokens/s 的训练速度及 11.5k output tokens/s 的高并发推理性能。
Subquadratic 推出 SubQ Snap,一款专为真实企业工作设计的长上下文决策模型。该模型采用线性注意力机制,在输入长度从 100K 扩展至 384K Token 时保持每 Token 计算量恒定,显著优于传统二次方注意力的成本增长曲线。其支持多模态输入,并在 Decision Index v0.2.1 基准测试中超越竞品 Jev,以极低延迟和免费输出定价填补了短上下文分类工具与全代码库判断之间的空白。
北京邮电大学团队在 NeurIPS'26 发表研究,提出 Mixture-of-Top-k Attention (MiTA) 模型。该工作从“快权重”视角出发,论证标准注意力可视为隐藏层宽度随序列长度增长的动态前馈网络(FFN),并据此构建五维分类框架。MiTA 通过设计可变形、可复用的 Top-k 专家模块,有效平衡了全局信息保留与原始细节按需读取的需求,为理解长上下文开销及统一不同注意力变体提供了新的底层架构视角。
智谱 AI 正式开源并上线 GLM-5.3-Flash(320B-A18B),这是 GLM-5 系列首个原生多模态模型。该模型在 Artificial Analysis 智能指数中得分 57,编程能力与 Anthropic 的 Claude Opus 4.8 持平,但定价仅为后者的 1/40。通过采用稀疏与线性注意力混合架构及减半的激活参数,GLM-5.3-Flash 实现了以极低算力成本获取前沿智能能力的突破。