Modal 重构沙箱基础设施支持百万并发

1. 17:55
   InfoQ 中文精选

   Modal 通过重构调度与状态管理在数秒内扩展百万级并发沙箱

   Modal 工程师 Colin Weld 和 Connor Adams 发布文章，介绍其如何重建沙箱基础设施以支持数百万个并发沙箱及每秒数万次创建，指出 Kubernetes 等系统因强一致性中央协调（如 etcd）和 O(节点) 级负载难以在此规模下运行。该团队停止全局协调，将调度改为并行负载均衡模式，使每个工作节点成为独立数据源，并通过 RPC 直接请求创建，仅在 Redis 流中保留状态同步作为唯一瓶颈。 基准测试显示，该平台在不到一分钟内创建了 100 万个沙箱，从启动到运行代码的中位时间低于 0.5 秒，且负载测试证明在超过 10 万个工作进程时仍可行。亚马逊云科技首席 AI 工程师 Alex Jones 评论称，这一成果的关键在于 Modal 未试图扩展 Kubernetes 而是绕过了该系统，标志着生成式 AI 基础设施正朝着协调与执行脱钩的方向发展，即执行层需要毫秒级隔离边界，而协调层仍需 Kubernetes 擅长的功能。 事实层面，Modal 实现了特定架构下的性能突破；推断层面，这暗示传统容器编排平台可能无法完全满足未来高并发 AI 工作负载需求，需向更轻量级的执行层演进；猜测层面，其他项目如 Unikraft、Google Substrate 和 Overdrive 是否也会采取类似“绕过”策略尚待观察，但当前信号表明行业正在重新评估云原生架构的适用性边界。

当前热度 9·可比范围峰值 10（10月9日 18:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。