PyTorch 2.15 发布，MPS 支持 FP8 与 MoE 加速

Hugging Face PyTorch 团队发布 2.15 版本，核心更新是将 FP8 张量（float8_e4m3fn）原生支持引入 macOS 的 Metal Performance Shaders (MPS) 后端，同时针对语言模型解码阶段进行了深度优化。该版本要求 macOS 15 及 Python 3.11 以上环境，旨在解决此前 Mac 端运行大模型时存在的操作不支持、性能瓶颈和内存泄漏问题。 实测数据显示，通过原生 grouped matmul 实现和减少 GPU-CPU 同步，混合专家（MoE）模型在 M3 Ultra 上的解码速度提升显著，Qwen3.6-35B-A3B 从 9.4 tokens/s 提升至 61.3 tokens/s。此外，视频生成任务 Wan2.2 的 VAE 解码因修复 padding 逻辑，峰值驱动内存占用从 270 GiB 骤降至 8 GiB，使得在消费级硬件上运行此类工作流成为可能。FP8 支持允许权重存储占用减半，配合 F.scaled_mm 算子可直接在 GPU 进行矩阵乘法。 技术层面，此次更新将大量操作从通用的 MPSGraph 迁移至专用的 Metal kernels，包括线性层、softmax 以及复杂的线性代数运算（如 LU 分解）。未来版本 2.16 计划进一步将注意力机制完全移至 Metal，并持续移除 MPSGraph 依赖以释放更多算力。这些改进标志着 Mac 作为 AI 开发环境的成熟度大幅提升，特别是对于需要低延迟或隐私保护的本地化应用。