机器之心 (微信公众号)T2·78 分
复旦 OpenMOSS 提出混合注意力新范式：全都要
原标题：混合架构用线性注意力还是滑窗注意力？复旦创智OpenMOSS团队：我全都要
- 混合架构中同时使用滑窗注意力和线性注意力可能优于单一高效方案
- 研究基于 RoPE/NoPE、SWA 及 GLA/GDN 在 376M 至 3B 参数规模上进行了对比分析
- 揭示了不同注意力机制在长上下文任务中的协同机制
返回热点榜
llm热度 8.8°
AI 聚合热点事件 · 2026/11/1
复旦 OpenMOSS 提出混合注意力新范式：全都要
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/1 12:00:00
全景综述与最新动态
1 家信源交叉印证复旦大学创智学院 OpenMOSS 团队发布论文《Mechanics of Long-Context Hybrid Models》，系统研究了长上下文大模型的混合架构设计。研究指出，相较于单一选择滑窗或线性注意力，同时结合全注意力、滑窗注意力（SWA）和门控线性注意力（GLA/GDN）的“全都要”策略能更有效地平衡计算效率与建模能力。该工作通过多规模实验验证了不同注意力机制的协同效应，为下一代高效长文本模型架构提供了理论依据与实践指导。
最新动向/复旦大学创智学院 OpenMOSS 团队发布论文《Mechanics of Long-Context Hybrid Models》，系统研究了长上下文大模型的混合架构设计。研究指出，相较于单一选择滑窗或线性注意力，同时结合全注意力、滑窗注意力（SWA）和门控线性注意力（GLA/GDN）的“全都要”策略能更有效地平衡计算效率与建模能力。该工作通过多规模实验验证了不同注意力机制的协同效应，为下一代高效长文本模型架构提供了理论依据与实践指导。
逐小时热度走势
14 个完整观测小时当前
8.8
峰值
12.012:00
近 24h 变化
-27%
曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。