AWS 发布 Amazon Bedrock 五阶段 FinOps 操作模型以解决 Agent 工作负载的成本失控问题
Managing Amazon Bedrock costs end to end: A playbook for FinOps and platform teams
AWS 发布了一套针对 Amazon Bedrock 的五阶段操作模型,旨在解决生成式 AI 尤其是 Agentic 工作负载中因自主性增强导致的 token 消耗不可控问题。该模型强调成本管理是架构纪律而非单纯的费用削减,核心在于建立可归因、可观测、可执行的平台级闭环。
第一阶段通过 IAM principal 标签和 CUR 2.0 实现每笔费用的身份归属,重点解决了共享角色(Shared-role)导致的可见性丢失问题,建议网关层采用 per-user session management 模式。第四阶段指出大部分浪费源于平台默认设置,提出智能提示词路由(Intelligent Prompt Routing)和提示词缓存(Prompt Caching)作为最高效的杠杆,并给出了具体的计费倍数参考:5 分钟 TTL 下单次复用即可覆盖写入成本,10 次调用成本约为未缓存价格的 17%。
在预算执行层面,文章区分了三种层级:Tier 1 仅监控告警,Tier 2 基于 IAM 策略异步拒绝,Tier 3 通过网关同步阻断。对于高并发或混合模型场景,推荐采用 Gateway enforcement 以实现毫秒级拦截。最终通过包含模型混合度、缓存命中率等维度的记分卡(Scorecard),将数据转化为政策决策,确保每一笔支出都有明确的业务归属和效率评估。
将成本治理从财务口径拆解为架构与运营机制,直接指导平台团队设计网关、路由与缓存策略。
来源:AWS Machine Learning Blog · aws.amazon.com