AWS 发布基于 llama.cpp 的 SageMaker AI 决策模型部署方案并给出性能基准

AWS 官方教程发布了一套在 Amazon SageMaker AI 上部署决策模型的工程方案，核心是利用 AWS Deep Learning Containers (DLC) for llama.cpp 运行 GGUF 量化模型。该方案支持两种路径：标准文本生成路径通过 OpenAI 兼容 API 返回生成内容；结构化决策路径则通过 SemIf 适配器直接输出选项概率，适用于路由、策略分配等需要固定选择的应用场景。

材料提供了 Qwen3.5-4B 模型在 ml.c6i.8xlarge CPU 与 ml.g6e.xlarge GPU 上的实测数据作为关键证据。在 JevBench 231 个任务中，GPU 配置相比 CPU 配置在 p50 延迟上快 4.9 倍，p95 延迟快 32.2 倍，但两者准确率基本持平（77.5% vs 77.9%）。文章明确指出，移除答案 token 生成并不消除模型推理过程，且 GPU 加速主要体现在预填充和尾延迟优化上，而非提升模型质量。

从商业与技术推论来看，SageMaker 的实例池功能允许按优先级自动回退 GPU 类型（如 g6e -> g6 -> g5），这为控制成本提供了灵活性。对于创业或产品团队，这意味着可以在不引入复杂自定义容器的情况下，利用现有 DLC 快速验证决策模型。事实层面确认了 SemIf 是扩展 DLC 的可选组件，推断层面建议非实时场景优先选 CPU 以降低成本，而高并发交互场景需评估 GPU 带来的尾延迟收益。猜测层面，这种架构可能成为未来 Agent 工作流中处理确定性逻辑的标准模式。