AWS 教程演示如何在 SageMaker AI 上流式运行 Kokoro TTS 以降低语音 Agent 延迟

AWS 发布了一篇关于在 Amazon SageMaker AI 上部署 Kokoro-82M 文本转语音（TTS）模型的工程指南，旨在解决生成式语音 Agent 因等待完整文本回答才启动合成而导致的用户感知延迟问题。该方案利用双向 WebSocket 连接，将每个句子实时流式传输至模型，使音频播放能在 Agent 完成整段回答前即刻开始。

文章通过实测数据量化了不同架构的延迟差异：在隔离测试中，仅发送第一句即可将首字节时间从 329.3 毫秒降至 156.7 毫秒；在包含真实 LLM 生成的端到端场景中，流式模式（bidi）的首次音频时间比批处理模式快 2.4 倍（本地容器）至 3.5 倍（AgentCore 运行时）。此外，教程还指出了另一种隐性成本：若使用 Server-Sent Events (SSE) 传输音频，Base64 编码会使负载增加约 33%，且需额外缓冲逻辑以对齐 MP3 帧边界，而直接复用双向会话传输原始二进制音频则能避免这些开销。

事实层面，该方案基于 ml.g5.xlarge GPU 实例和自定义容器实现，要求开发者处理二进制 WebSocket 帧解析及 Python 3.12+ 环境配置。推断层面，对于追求极致低延迟的实时语音交互场景，采用统一二进制传输协议优于传统的 Base64+SSE 方案；而对于已有 SSE 基础设施的团队，Base64 仍是可行的过渡方案。猜测层面，随着端侧推理能力的提升，未来此类流式合成架构可能向更轻量级的边缘设备迁移，但目前仍依赖云端 SageMaker 资源。