Today for AI
返回热点榜
tools热度 15.1°

AI 聚簇研判事件 · 2026/10/13

Janas 开源 LLM 推理引擎：SSD 流式加载专家突破 RAM 限制，32GB 笔记本跑 48GB MoE 模型提速近 9 倍

1 篇报道存证1 家独立信源交叉印证持续跟踪至 2026/10/13 06:05:43
全景综述与最新动态
1 家信源交叉印证

Janas 发布开源 LLM 推理引擎，通过从 NVMe SSD 直接流式读取混合专家（MoE）权重，成功在 32GB 内存的笔记本上运行 48GB 的大模型。实测显示其生成速度达 24 tok/s，较 llama.cpp 的 2.8 tok/s 提升近 9 倍，显著降低了大模型本地部署的硬件门槛。

最新动向/Janas 发布开源 LLM 推理引擎，通过从 NVMe SSD 直接流式读取混合专家（MoE）权重，成功在 32GB 内存的笔记本上运行 48GB 的大模型。实测显示其生成速度达 24 tok/s，较 llama.cpp 的 2.8 tok/s 提升近 9 倍，显著降低了大模型本地部署的硬件门槛。

热度曲线逐小时热度走势

4 个完整观测小时
当前
15.1
峰值
15.807:00
近 24h 变化
–

曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。

TIMELINE报道时间线

共 1 篇 · 最新优先
  1. Hacker News AIT2·78 分
    • Janas 利用 SSD 流式传输技术，允许在物理内存不足时加载并运行大于 RAM 容量的 MoE 模型。
    • 在 Intel Core Ultra 9 笔记本实测中，Qwen3-Next-80B 的生成速度达到 24 tok/s，远超 llama.cpp 的 2.8 tok/s。
    • 该项目支持多种主流开源模型（如 Qwen、Gemma），并提供了基准测试工具以适配不同硬件环境。