术语slug: mamba-3

Mamba-3

基于状态空间模型的序列建模架构,具备线性复杂度与高效长上下文处理能力

收录情报动态

共 1 篇 · 第 1/1 页
IT之家 · 智能时代T2·基座大模型
72 分
OVHcloud 开源 70 亿参数 Olala mini 7A1B

欧洲云服务商 OVHcloud 发布首个 AI 模型家族 Olala,首款成员 Olala mini 7A1B 以 Apache 2.0 许可开源。该模型采用 Differential-TPA 与 Mamba-3 混合注意力机制,总参数 70 亿、激活参数 10 亿,可在 8GB 显存 GPU 上运行,训练总开销约 700 万欧元。