端侧推理引擎

淘宝 MNN 团队从零训练并开源了约 3 亿参数的端侧语言模型 MNN-Pocket-0.3B，将模型结构、词表、训练数据、后训练与量化推理引擎协同优化，INT4 部署包仅 173MB。在 iPhone 18 Pro 上通过 MNN 引擎完全离线运行，平均解码速度约 350 token/s，iPad Pro M5 上峰值 Metal 驻留内存增量约 228MB，并附带投机解码草稿模型实现最高 2.06 倍加速。