Amazon Bedrock 为 Anthropic Claude 模型推出结构化输出功能
Structured outputs for Anthropic Claude models on Amazon Bedrock
Amazon Bedrock 正式支持所有可用 Anthropic Claude 模型的结构化输出,涵盖 bedrock-runtime 和 bedrock-mantle 两种端点。该功能通过约束解码(constrained decoding)在 token 生成阶段强制执行 JSON Schema,而非事后校验,使输出从概率性转变为确定性,不再需要自定义解析、重试逻辑或后处理。
具体实现包含两个互补机制:JSON Schema output format 用于控制响应结构,适用于数据提取和报告生成;Strict tool use 用于验证工具参数,适用于智能体工作流和函数调用。性能方面,新 Schema 首次请求会因编译语法 artifact 而稍慢,但编译后的语法会被缓存 24 小时,后续请求开销极小;若修改 Schema 结构则缓存失效需重新编译,仅修改名称或描述字段不影响缓存。此外,必须设置 additionalProperties: false 才能生效,且不支持递归 Schema、外部引用及数值/字符串长度约束等关键字。
事实层面,该功能现已全面开放,支持批量推理、跨 Region 推理及实时流式响应。推断层面,由于输出始终符合 Schema 定义,可减少无效 Token 生成,从而降低高并发场景下的推理成本。猜测层面,结合其强类型特性,未来可能成为构建无需额外验证代码的生产级 AI 应用的标准组件,特别是在金融合规文档提取、临床笔记解析及工单自动路由等对数据一致性要求极高的场景中。
材料明确 24 小时语法缓存机制与 additionalProperties: false 强制要求,能直接校正对生产环境集成成本与稳定性的判断。
来源:AWS Machine Learning Blog · aws.amazon.com