Strata 引擎开源:12GB 显存跑 Qwen3.8-125B
作者:IT之家原标题:12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒
68AI 研判分
开发者 Niko1221 开源 Strata 推理引擎,支持在 12GB 及以上显存的消费级显卡(如 RTX 5070)上运行量化的 Qwen3.8-Flash-Next 模型。该方案实现了 1250 亿参数大模型在低显存设备上的高效部署,实测生成速度达 94 词元/秒。
报道正文
科技媒体 gigazine 今天(10 月 6 日)报道,报道称开发者 Niko1221 开源推出 Strata 引擎,可以在 12GB 及以上显存的消费级显卡上,运行量化的 Qwen3.8-Flash-Next 模型(1250 亿参数)。