IT之家 · 智能时代T2·78 分
PrismML 发布 Ternary Bonsai 2 系列,iPhone 本地运行 AI 智能体
原标题:Ternary Bonsai 2 系列 AI 模型登场:苹果 iPhone 18 Pro Max 上本地吞吐最高每秒 120 个词元
- Ternary Bonsai 2 系列包含 2B、4B、9B 三种规格,存储占用低至 0.43GB,适合移动端部署。
- 在 iPhone 18 Pro Max 上,2B 模型本地推理速度可达 120 tokens/s,9B 模型达 34 tokens/s。
- 相比全精度模型,新模型在 RTX 4090 和 M5 Pro 上实现最高 5 倍吞吐量提升和 3 倍能效优化。
- 模型权重以 Apache 2.0 许可证开源,支持 llama.cpp 和 MLX 框架部署。