术语slug: hybrid-architecture

混合架构

Hybrid Architecture

结合多种神经网络组件或注意力机制以平衡效率与性能的模型设计

收录情报动态

共 6 篇 · 第 1/1 页
机器之心 (微信公众号)T2·基座大模型
78 分
复旦 OpenMOSS 提出混合注意力新范式:全都要

复旦大学创智学院 OpenMOSS 团队发布论文《Mechanics of Long-Context Hybrid Models》,系统研究了长上下文大模型的混合架构设计。研究指出,相较于单一选择滑窗或线性注意力,同时结合全注意力、滑窗注意力(SWA)和门控线性注意力(GLA/GDN)的“全都要”策略能更有效地平衡计算效率与建模能力。该工作通过多规模实验验证了不同注意力机制的协同效应,为下一代高效长文本模型架构提供了理论依据与实践指导。

Hacker News AIT2·基座大模型
78 分
Liquid AI 发布 LFM3:多模态开源小模型支持本地微调

Liquid AI 推出新一代 Liquid Foundation Models (LFM3),这是一个基于混合架构、拥有 20 亿参数的多模态模型家族。该系列统一了文本、视觉、音频及决策能力,旨在通过高效的小模型实现特定领域的智能。模型权重已在 Hugging Face 开源,支持在任意设备上运行和本地微调。

Hacker News AIT2·智能体与协同
78 分
混合推理智能体实现 Token 节省与加速

研究人员提出 Hybrid Reasoning Agents (HybridAgents),通过在潜在空间推理与文本交互间动态切换,显著降低计算开销。该架构利用轻量级 HybridLink 模块实现无缝模式转换,并配合连续工作记忆保持上下文无损,在保留工具调用能力的同时提升推理透明度。实验显示,该方法可减少 35-55% 的 Token 消耗,并将推理速度提升至原来的 2.6 倍。