Hacker News AIT2·74 分
在 1.9 GB 内存电视盒子上跑通 16B 参数模型
原标题：I'm making LLMs work on small and old devices
- 在约 1 GB 可用内存、无 root 的电视盒子上运行 260K 至 16B 参数模型
- Qwen3.5-0.8B 达 16.8 tok/s，为原版 2.2 倍；8B MoE 通过专家分页达 7.2 tok/s
- 核心手段包括自定义内核、缓存感知路由、预门控预取与权重流式加载
返回热点榜
tools热度 15.1°
AI 聚合热点事件 · 2026/11/12
在 1.9 GB 内存电视盒子上跑通 16B 参数模型
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/12 23:23:10
全景综述与最新动态
1 家信源交叉印证smolmaxxing 项目展示了在小米电视盒子（Amlogic S7D、约 1 GB 可用内存、无 root）上运行 260K 至 16B 参数语言模型的实测结果，通过自定义内核、内存优化与权重流式加载实现。其中 Qwen3.5-0.8B 达到 16.8 tok/s（为原版 2.2 倍），8B MoE 模型以专家按需分页方式达到 7.2 tok/s。所有数据均在真实硬件上背靠背测量，为边缘端本地推理提供了可复现的工程范式。
最新动向/smolmaxxing 项目展示了在小米电视盒子（Amlogic S7D、约 1 GB 可用内存、无 root）上运行 260K 至 16B 参数语言模型的实测结果，通过自定义内核、内存优化与权重流式加载实现。其中 Qwen3.5-0.8B 达到 16.8 tok/s（为原版 2.2 倍），8B MoE 模型以专家按需分页方式达到 7.2 tok/s。所有数据均在真实硬件上背靠背测量，为边缘端本地推理提供了可复现的工程范式。
逐小时热度走势
2 个完整观测小时连续完整观测不足 3 个小时，暂不绘制趋势曲线。