复旦大学创智学院 OpenMOSS 团队发布论文《Mechanics of Long-Context Hybrid Models》,系统研究了长上下文大模型的混合架构设计。研究指出,相较于单一选择滑窗或线性注意力,同时结合全注意力、滑窗注意力(SWA)和门控线性注意力(GLA/GDN)的“全都要”策略能更有效地平衡计算效率与建模能力。该工作通过多规模实验验证了不同注意力机制的协同效应,为下一代高效长文本模型架构提供了理论依据与实践指导。
术语slug: hybrid-architecture
混合架构
Hybrid Architecture
结合多种神经网络组件或注意力机制以平衡效率与性能的模型设计
收录情报动态
机器之心 (微信公众号)T2·基座大模型
78 分
Hacker News AIT2·基座大模型
78 分
Liquid AI 推出新一代 Liquid Foundation Models (LFM3),这是一个基于混合架构、拥有 20 亿参数的多模态模型家族。该系列统一了文本、视觉、音频及决策能力,旨在通过高效的小模型实现特定领域的智能。模型权重已在 Hugging Face 开源,支持在任意设备上运行和本地微调。
Hacker News AIT2·智能体与协同
78 分
研究人员提出 Hybrid Reasoning Agents (HybridAgents),通过在潜在空间推理与文本交互间动态切换,显著降低计算开销。该架构利用轻量级 HybridLink 模块实现无缝模式转换,并配合连续工作记忆保持上下文无损,在保留工具调用能力的同时提升推理透明度。实验显示,该方法可减少 35-55% 的 Token 消耗,并将推理速度提升至原来的 2.6 倍。
Hugging Face BlogT1·基座大模型
48 分
阿布扎比人工智能研究所(TII)推出基于混合架构的 Falcon-H1-Arabic 模型,旨在提升阿拉伯语处理性能。该模型通过结合不同架构优势,试图在特定语言任务上突破现有边界,目前已在 Hugging Face 上线供社区试用。
Hugging Face BlogT1·基座大模型
78 分
ServiceNow AI 团队推出 Apriel-H1,将 15B 参数推理模型转换为 Mamba 混合架构,在保持极低质量损失的前提下实现 2.1 倍吞吐量提升。该研究揭示了蒸馏过程中的关键洞察:选择何种数据进行蒸馏比模型结构本身更决定最终效率与性能的平衡。
Hugging Face BlogT1·基座大模型
78 分
IBM 联合 Mamba 作者推出开源模型 Bamba,采用 Transformer 与 Mamba2 的混合架构。该模型在长序列场景下推理速度较 LLaMA 提升最高 5 倍,显著优化了显存占用与计算效率。