AWS SageMaker AI 引入 SOCI 索引实现容器懒加载，大镜像启动时间缩短至秒级

Amazon SageMaker AI 宣布支持 Seekable OCI (SOCI) 索引技术，允许在训练和数据处理任务中懒加载容器镜像，从而将镜像下载过程移出作业执行的关键路径。该技术通过仅获取启动容器所需的文件并在后台流式传输其余部分，使作业启动时间从数分钟缩短至数秒，同时保持现有的作业定义、入口点和数据通道配置不变。

实测数据显示，对于 1.8 GB 至 35.4 GB 不等的八个深度学习镜像，标准 Docker 拉取时间随镜像大小线性增长，而 SOCI 懒加载时间稳定在 3-11 秒之间，最大提升倍数达 38 倍（针对 35.4 GB 镜像）。在 GPU 实例上的测试表明，GPU 空闲时间减少了高达 90%。尽管第一个训练 epoch 可能因首次访问文件而增加 3-16 秒的延迟，但整体作业完成时间仍缩短了 1-6 分钟，且后续 epoch 的训练速度不受影响。

采用方式包括使用预索引的 AWS Deep Learning Container (DLC) 镜像（标签后缀为 -soci）或自行创建索引。该功能仅在 Amazon ECR 私有仓库中可用，且要求镜像大于约 4 GB 才能获得显著收益。用户无需修改 API 调用即可启用此功能，只需更新镜像标签或添加索引。这标志着云基础设施层面对容器冷启动问题的实质性优化，尤其有利于超参数调优等高频短作业场景。