Hugging Face 发布 TorchTPU 使 PyTorch 原生支持 Google TPU

Hugging Face 推出 TorchTPU，将 Google TPU 作为 PyTorch 的原生后端设备，使 Transformers、Diffusers 和 Kernels 库能直接在 TPU 上运行。用户只需将 device_map 设为 "tpu" 即可加载模型，无需再依赖 torch_xla 或学习 JAX。

该方案通过 Pallas 内核优化分布式训练与 torch.compile 集成，显著提升了性能。实测显示，在 batch size 64 下，Qwen3-30B-A3B 的解码速度提升 21.5 倍，Gemma 4 26B-A4B 提升 12.8 倍。同时，Hugging Face 已建立 nightly CI 测试体系，目前 96.5% 的测试用例在 TPU 上通过，并修复了包括 StaticCache 在内的多个上游 Bug。

事实：TorchTPU 是 PyTorch 的新后端，支持 eager 和 compiled 模式，可自动分片大模型。推断：这将降低 TPU 使用门槛，推动更多开发者在云端 TPU 上进行实验与部署。猜测：未来可能扩展至更多硬件加速器和边缘设备。