零拷贝缓冲区

谷歌推出 LiteRT Tensor API，一个轻量级 C++ 接口，让开发者以算子级粒度直接构建端侧模型计算图，同一份代码可运行于 CPU、GPU 与 NPU，无需为每种硬件重写。该 API 支持从 Hugging Face safetensors 直接导入权重、零拷贝缓冲区互操作，并适配 AI 编码智能体自动生成与优化模型图；官方演示中同一份 SAM 2 代码在 MacBook Pro 上比 Apple MLX 快约 1.5 倍。