Apple 发布 MLX 新版：引入 Thunderbolt 5 RDMA 技术实现 Mac Studio 集群分布式推理，本地运行近万亿参数模型

Apple 正式发布最新版 MLX 框架，通过引入基于 Thunderbolt 5 的远程直接内存访问（RDMA）技术，成功实现了多台 Mac Studio 之间的低延迟高速互联与分布式大模型推理。这一突破性进展使得在本地私有环境中运行参数量接近一万亿的前沿模型成为现实，显著降低了顶级开源模型的部署门槛。

多源信源交叉验证显示，该方案已配合 Meta 最新开源的 Muse Spark Open 模型完成实测。Muse Spark Open 采用 816B 总参数、42B 激活参数的混合专家（MoE）架构，原生支持多模态及 100 万 token 超长上下文。得益于 Apple Silicon 的统一内存架构优势，MLX 新框架在四机集群下实现了超过 36 tokens/s 的生成速度，并将首字延迟优化至上一代的 4.6 倍以内，充分验证了其在长程推理与复杂软件工程任务中的高效性。

此举标志着桌面级 AI 算力生态的重大跃迁。通过硬件互联技术的软件化封装，开发者无需依赖昂贵的数据中心即可在本地集群中处理超大模型，这不仅加速了开源权重模型的普及与应用落地，也为隐私敏感型行业提供了极具竞争力的本地化推理解决方案，重塑了边缘计算与大模型结合的产业格局。