Hugging Face 发布 TorchNeuron 工具查询 AWS Trainium 兼容性

Hugging Face 推出一个公开 Space 和配套数据集，用于查询主流 Transformers 模型是否能在 AWS Trainium（特别是 trn2）实例上无修改运行。该工具不仅给出通过与否的结果，还列出所需的 Neuron 编译器版本、Transformers 库版本、分片核心数、编译时间、峰值显存占用以及可直接执行的 run.py 脚本。 测试方法基于实际部署环境：将模型加载到 trn2 实例，使用最小核心数承载权重，多数采用张量并行，MoE 模型则用专家并行；生成 32 tokens 后比对 CPU 输出或评估文本流畅性。目前仅覆盖文本生成与图文生成类模型，且限制在最多 4 台 trn2 设备（16 核心）内能容纳的模型。所有结果来自 aws-neuron/torch-neuronx-model-support 数据集，可按版本组合查询。 事实层面，该工具为开发者提供了明确的兼容性依据，避免盲目尝试部署失败。推断层面，它反映出 Hugging Face 正积极构建跨硬件生态的标准化验证机制，降低 AI 工程落地的不确定性。猜测层面，未来可能扩展至更多任务类型与模型架构，但当前范围仍有限。