跳到正文
原文
AWS Machine Learning Blog· Srinivas Kini·· 4 小时前精选AI 评分78

Postman 如何在 Amazon Bedrock 上为 4000 万开发者运行 Agent Mode

How Postman runs Agent Mode for 40 million developers on Amazon Bedrock

AI 导读

Postman 在 Amazon Bedrock 上构建了面向 API 测试、文档、发现和实现的 AI 原生工作流 Agent Mode,通过动态工具选择、基于 schema 的读取访问以及刻意设计的上下文处理,解决了成熟产品集成智能体时的工程难题。

该架构的核心在于控制工具泛滥:当可见工具集超过约 40 个时,模型的选择错误率显著上升,因此系统采用向量数据库对 170 多个工具进行动态筛选,每次仅向模型暴露约 15 个相关工具。同时,Postman 将客户端 API 与界面状态解耦,允许后台发送请求而非依赖打开标签页,并将结构化数据(如 ClickHouse 表)直接暴露给模型生成复杂查询,从而减少专用工具的数量。此外,团队建立了专用的上下文处理器来提炼实体信息,避免将渲染用的数据模型直接喂给模型,以应对上下文窗口限制。

在基础设施层面,Amazon Bedrock 提供了模型灵活性、跨区域推理和数据保留控制。Postman 根据延迟敏感度和推理复杂度在不同 Claude 模型间路由请求,利用跨区域推断配置文件自动分配流量以应对尖峰需求,并针对企业客户设置地理边界。为了降低成本和延迟,系统采用了分层提示词缓存策略:核心指令使用一小时缓存,变量层使用五分钟缓存,确保稳定前缀不被重复处理。这些经验表明,生产级 Agent 的成功不仅取决于模型能力,更依赖于对工具、上下文和推理成本的精细化工程控制。

推荐理由

材料将工具集规模与幻觉率关联,并给出跨区推理和分层缓存的具体配置逻辑,可直接用于校正 Agent 生产架构。

来源:AWS Machine Learning Blog · aws.amazon.com