IT之家 · 智能时代T2·基座大模型
72 分
欧洲云服务商 OVHcloud 发布首个 AI 模型家族 Olala,首款成员 Olala mini 7A1B 以 Apache 2.0 许可开源。该模型采用 Differential-TPA 与 Mamba-3 混合注意力机制,总参数 70 亿、激活参数 10 亿,可在 8GB 显存 GPU 上运行,训练总开销约 700 万欧元。
基于状态空间模型的序列建模架构,具备线性复杂度与高效长上下文处理能力
欧洲云服务商 OVHcloud 发布首个 AI 模型家族 Olala,首款成员 Olala mini 7A1B 以 Apache 2.0 许可开源。该模型采用 Differential-TPA 与 Mamba-3 混合注意力机制,总参数 70 亿、激活参数 10 亿,可在 8GB 显存 GPU 上运行,训练总开销约 700 万欧元。