IT之家 · 智能时代T2·68 分
Strata 引擎开源:12GB 显存跑 Qwen3.8-125B
原文标题:12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒
- Strata 引擎允许在 12GB 显存显卡上运行 125B 参数的 Qwen3.8 模型
- 基于量化技术,RTX 5070 实测推理速度可达 94 词元/秒
- 该项目由开发者 Niko1221 开源,降低了大模型本地部署门槛
AI 聚簇研判事件 · 2026/10/6
Strata Engine Lets 12GB GPUs Run 125B Qwen3.8 Model
开发者 Niko1221 开源 Strata 推理引擎,支持在 12GB 及以上显存的消费级显卡(如 RTX 5070)上运行量化的 Qwen3.8-Flash-Next 模型。该方案实现了 1250 亿参数大模型在低显存设备上的高效部署,实测生成速度达 94 词元/秒。
原文标题:12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒