跳到正文
原文
InfoQ 中文· Satish Kumar·· 3 小时前AI 评分70

Snowflake Elastic Channels 正式发布,移除 Kafka 中转实现直连摄取

告别 Kafka 中转,让实时数据更快服务业务分析 | 技术实践

AI 摘要

Snowflake 于 2026 年 9 月 15 日正式发布 Elastic Channels,允许应用通过 SDK 直接向 Snowflake 写入流式数据,从而在仅服务于单一目标(如 Snowflake)的场景下移除 Kafka、Schema Registry 和连接器等中间组件。该功能已脱离预览阶段,在所有 AWS、Azure 和 GCP 商业区域可用,并受标准 SLA 保障。

核心机制在于隐式通道管理:SDK(Java、Python、Node.js v1.8.0+)调用 get_elastic_channel() 获取句柄后,由服务器自动处理批处理、压缩和重试,无需用户创建或维护管道对象。投递语义为至少一次(at-least-once),不保证顺序且不返回偏移量 token,这意味着下游必须通过 Dynamic Table 进行去重处理。实测显示,单台 MacBook 可在 3 秒内完成 1,000 行数据的写入与持久化确认,端到端延迟显著降低。

架构层面的真正变化是减少了基础设施依赖而非单纯提升速度。对于仅需将数据落库且无多消费者共享需求的场景,Elastic Channels 提供了更简单的生产级方案;若需恰好一次投递、严格顺序或数据重放能力,则仍需保留 Kafka 或使用 Named Channels。完整代码实现已开源至 GitHub,包含基于 RBAC 的权限配置、Dynamic Table 实时转换及监控视图构建逻辑。

来源:InfoQ 中文 · infoq.cn