Hugging Face 发布工具查询模型是否可在 AWS Trainium 上运行

Hugging Face 推出一个公开 Space 和配套数据集，用于查询主流 Transformers 模型是否能在 AWS Trainium（特别是 trn2）实例上无修改运行。该工具不仅给出通过与否的结果，还列出所需的 Neuron 编译器版本、Transformers 库版本、分片核心数、编译时间、峰值显存占用以及可直接执行的 run.py 脚本。

测试方法基于实际部署环境：将模型加载到 trn2 实例，使用最小核心数承载权重，多数采用张量并行，MoE 模型则用专家并行；生成 32 tokens 后比对 CPU 输出或评估文本流畅性。目前仅覆盖文本生成与图文生成类模型，且限制在最多 4 台 trn2 设备（16 核心）内能容纳的模型。所有结果来自 aws-neuron/torch-neuronx-model-support 数据集，可按版本组合查询。

事实层面，该工具为开发者提供了明确的兼容性依据，避免盲目尝试部署失败。推断层面，它反映出 Hugging Face 正积极构建跨硬件生态的标准化验证机制，降低 AI 工程落地的不确定性。猜测层面，未来可能扩展至更多任务类型与模型架构，但当前范围仍有限。