混合注意力

混合注意力（Hybrid Attention）是指在 Transformer 神经网络的不同层级混合使用多种注意力机制的架构设计。模型在大部分网络层使用显存与计算复杂度均为线性的线性注意力（Linear Attention），而在关键层保留全门控注意力（Full Gated Attention），从而在超长上下文下兼顾推理吞吐与复杂推导质量。