谷歌发布ML Drift引擎加速端侧推理并停止更新TFLite GPU委托

谷歌发布 ML Drift，一个基于 Apache 2.0 许可的开源跨平台 GPU 计算引擎，旨在为端侧 AI 和机器学习推理提供统一基础，同时宣布停止更新旧版 TensorFlow Lite GPU 委托。该引擎作为 LiteRT 的核心加速组件，通过抽象 OpenGL ES、OpenCL、Metal 和 WebGPU（通过 Dawn）等底层差异，支持 Arm、Intel 和高通 GPU 的硬件专属优化，使开发者能构建自定义图形渲染与推理运行时。 在技术实现上，ML Drift 引入基于张量虚拟化的统一着色器、可扩展自定义算子及原生五维张量支持，解决了边缘设备上逻辑张量与物理内存分配耦合导致的碎片化问题。基准测试显示，在 Gemma 模型运行中，其内存开销比 llama.cpp 和 MLX LM 低 12%；在实际应用中，YouTube Shorts 的分割算法特效帧延迟降低最高 40%，谷歌 Photos 的计算摄影流水线提速最高达 2 秒，Adobe Lightroom 和 Photoshop 的特定 AI 功能性能提升最高 30%。 事实层面，谷歌已确认 ML Drift 在 Chrome、YouTube Shorts、Photos 和 Meet 等应用的数百万台设备上运行，并建议现有应用迁移至 LiteRT ML Drift GPU 加速器。推断层面，该工具将显著降低多架构 GPU 的适配成本，推动生成式 AI 在端侧的落地。猜测层面，关于其与 Core ML 在新 iPhone 上的具体延迟和内存表现对比，目前缺乏公开数据，需等待进一步实测验证。