Linum 发布 Apache 2.0 授权的 Pyramid-JiT 文生图模型，训练成本约 2.1 万美元

Linum 实验室发布了名为 Pyramid-JiT (P-JiT) 的开源文生图模型，该模型以约 21,038 美元的总成本完成训练并公开权重。这是一个 2B 参数的 DiT 架构配合冻结的 Qwen3.5-4B 文本编码器，采用 32×32 的 token 压缩率（相比主流模型的 16×16 提升一倍），旨在通过像素空间操作和激进压缩降低视频生成领域的注意力计算开销。

训练数据包含 610M 个 512²样本和 50M 个 1024²样本，在 64 张 H100 上运行共 8,415 小时，其中预训练花费 20,348 美元，后训练仅花费 690 美元。架构核心在于去除了传统 VAE，直接在扩散过程中学习潜在空间，并在网络主干中引入 PixelREPA 读头和对齐 DINOv3-L 特征，同时利用噪声调度课程学习加速收敛。值得注意的是，该模型明确未训练渲染文本数据，因此无法生成文字或海报，且受限于 2B 参数量，在处理多人交互、多实体场景及世界知识方面存在局限。

事实层面，该模型已作为实验性发布在 Hugging Face 和 GitHub 开源，代码与权重均遵循 Apache 2.0 协议。推断层面，这种极低的单位经济成本（$20K）挑战了当前大模型必须依赖巨额算力投入才能产出可用结果的行业假设，证明了特定架构优化（如 P-JiT）可能比单纯堆叠参数更能有效降低门槛。猜测层面，作者提到这是通往视频模型的中间步骤，若将此类压缩技术迁移至视频生成，可能会显著改变动画工具的成本结构，但具体效果需等待后续验证。