smolmaxxing

smolmaxxing 项目展示了在小米电视盒子（Amlogic S7D、约 1 GB 可用内存、无 root）上运行 260K 至 16B 参数语言模型的实测结果，通过自定义内核、内存优化与权重流式加载实现。其中 Qwen3.5-0.8B 达到 16.8 tok/s（为原版 2.2 倍），8B MoE 模型以专家按需分页方式达到 7.2 tok/s。所有数据均在真实硬件上背靠背测量，为边缘端本地推理提供了可复现的工程范式。