Hugging Face BlogT1·基座大模型
78 分
ServiceNow AI 团队推出 Apriel-H1,将 15B 参数推理模型转换为 Mamba 混合架构,在保持极低质量损失的前提下实现 2.1 倍吞吐量提升。该研究揭示了蒸馏过程中的关键洞察:选择何种数据进行蒸馏比模型结构本身更决定最终效率与性能的平衡。
Mamba Architecture
基于状态空间模型的高效序列建模架构
ServiceNow AI 团队推出 Apriel-H1,将 15B 参数推理模型转换为 Mamba 混合架构,在保持极低质量损失的前提下实现 2.1 倍吞吐量提升。该研究揭示了蒸馏过程中的关键洞察:选择何种数据进行蒸馏比模型结构本身更决定最终效率与性能的平衡。