Falcon Mamba 发布:首个强性能无注意力 7B 模型
原标题:Welcome Falcon Mamba: The first strong attention-free 7B model
68AI 研判分
TII 推出 Falcon Mamba,这是首个在 7B 规模上具备强劲性能的无注意力机制大语言模型。该模型基于 Mamba 架构,旨在通过状态空间模型替代传统 Transformer 的注意力层,以显著降低推理成本并提升长上下文处理能力。
报道正文
Welcome Falcon Mamba: The first strong attention-free 7B model