跳到正文
原文
InfoQ 中文· Michael Uhlar·· 2 小时前AI 评分70

Snowflake 自适应计算以两个属性取代 15 个配置项,重构虚拟仓库资源调度逻辑

从固定规格到按需分配:Snowflake 自适应计算的底层逻辑 | 技术趋势

AI 摘要

Snowflake 推出自适应计算(Adaptive Compute)架构,旨在解决标准型虚拟仓库中计算资源孤岛化导致的闲置浪费问题。该模式允许账户内所有任务路由至专属的计算资源池,实现跨工作负载的资源共享,同时保留各虚拟仓库作为独立访问端点的治理边界。这一转变将原本分散的资源管理转变为统一的池化调度,利用规模经济效应提升整体效率。

核心机制在于用 MAX_QUERY_PERFORMANCE_LEVEL(MQPL)和 QUERY_THROUGHPUT_MULTIPLIER(QTM)两个属性替代了原有的十多项配置。MQPL 定义了单条查询在成本与性能权衡曲线上的上限,系统根据编译阶段的数据量和并行度预测,自动为每条查询分配匹配其需求的计算规模,而非强制统一使用固定规格。QTM 则控制并发吞吐量倍数,决定在排队发生前允许多少突发流量进入执行,从而在延迟与峰值成本之间建立可调节的背压机制。

底层采用准入控制 Token 预算机制,将 MQPL 与 QTM 的乘积转化为抽象的 Token 配额。Token 具有可互换性,支持不同规模的查询组合运行,且按实际占用的计算单元计费。这种设计使得系统能够动态平衡资源利用率与业务需求,用户只需定义对延迟和突发流量的容忍度,无需再针对具体基础设施进行繁琐的参数调优。

来源:InfoQ 中文 · infoq.cn