Hugging Face 发布 Transformers Model Integration Contracts 标准以捕获模型集成回归

Hugging Face 在 Transformers 库中引入 Model Integration Contracts (MIC) 标准，旨在通过轻量级测试修复长期存在的模型集成回归问题，例如 UMT5 因启用 SDPA 导致的未来 token 泄露 bug。该方案不依赖昂贵的 GPU 全量测试，而是构建包含真实配置但参数量极小的 fixture（如将 1086 亿参数的 Llama 4 Scout 压缩至 4470 万参数），配合固定的 usage path 和人工审核的 baseline 输出，在 CPU 上快速验证模型行为。

核心机制要求 fixture 必须保留原始模型的层结构、tokenizer 和权重格式，并通过随机初始化或过拟合少量样本生成可训练权重，确保能触发如梯度异常、log-prob 偏差等深层错误。实测显示，UMT5 的 SDPA 回归导致 log-prob 差异达 1.22，仅在使用默认 attention 路径时被发现；而随机权重的 Whisper fixture 仅能捕获部分故障，过拟合版本则覆盖更全。当前 CI 中的 MIC 任务尚未阻断 PR，且存在误报风险，需进一步评估其对真实回归的检出率及维护成本。

事实层面，tmic CLI 已支持通过 LLM 辅助生成合约草案，但所有 baselines 仍需人工确认；推断层面，该标准可能成为开源模型库质量控制的通用范式，降低新架构上线门槛；猜测层面，若未来 MIC 覆盖率提升并接入 Hub 页面，开发者可直接从模型页获取经过严格验证的运行环境快照，但这取决于社区贡献进度与误报率的平衡结果。