开发者发布 PyTorch 优化器 ApexW，大张量场景提速 1.5 倍

开发者推出 PyTorch 优化器 ApexW，在包含大量大张量的 GPU 负载下，其 Triton 执行路径比原生 fused AdamW 快约 1.5 倍，且优化器状态内存占用减半。该方案针对 Transformer 或 LLM 微调等易触发 OOM 的场景有效，但在处理大量小张量时性能反而下降至原生的 0.21 倍。目前代码已开源于 GitHub，作者正寻求社区对实现细节与基准测试的反馈。