术语slug: decoder-only

解码器仅架构

Decoder-only

仅使用 Transformer 解码器堆栈进行自回归生成的模型结构

收录情报动态

共 1 篇 · 第 1/1 页
Hugging Face BlogT1·基座大模型
78 分
TII 开源 Falcon 3 系列:含 Mamba 架构小模型

阿布扎比技术创新研究所(TII)正式开源 Falcon 3 系列大语言模型,涵盖 1B 至 10B 参数规模。该系列重点强化了科学、数学与代码能力,并创新性地引入了基于 Mamba 架构的 7B 基础模型,旨在提升训练效率与推理性能。