Google 开源 TorchTPU 实现 PyTorch 原生 TPU 推理

Google 正式开源 TorchTPU，为 PyTorch 框架提供原生的 Tensor Processing Units (TPU) 后端支持。这一突破性进展允许开发者直接在 TPU 上运行标准 PyTorch 代码，彻底摆脱了对 JAX 或复杂 torch_xla 适配层的依赖，显著降低了使用 Google 云端 AI 基础设施的技术门槛。

多方信源交叉验证显示，该集成已深度融入主流 AI 生态。Hugging Face 宣布其 Transformers 和 Diffusers 库全面支持通过 'tpu' 设备直接调用模型；vLLM 则推出 vllm-torchtpu 后端，实现了“零代码修改”迁移，复用现有模型定义并保留 OpenAI 兼容 API 接口。技术层面，TorchTPU 内置自定义 ATen 内核、XLA 编译缓存及针对注意力机制的 Pallas 优化，支持 Llama、Qwen 等主流大模型的分布式训练与高效推理。

此举被视为挑战 Nvidia GPU 在 AI 开发领域默认垄断地位的关键一步。通过与 Amazon 的 TorchNeuron 形成合力，Google 旨在构建更开放的硬件生态，使 TPU 成为与 GPU 同等易用的开发目标。尽管大规模迁移仍需克服生态惯性，但原生支持的普及将加速非 Nvidia 硬件在企业级 AI 部署中的渗透率。