AWS 发布 AgentCore Evaluations 支持决策模型集成

AWS 发布教程演示如何通过代码评估器（code-based evaluator）框架，将两类决策模型——托管服务 Jev 与开源模型 Strands Decider 2B——集成到 Amazon Bedrock AgentCore Evaluations 中。该方案允许开发者在构建 HR Assistant 等代理系统时，使用具备校准概率输出的决策模型执行特定维度的评估任务，如事实一致性、回答相关性或目标完成度。 决策模型在此场景下并非替代内置的 LLM-as-a-judge 评估器，而是作为前置筛选层运行。其核心机制在于：针对固定选项的问题（如 yes/no、多分类选择或有序评分），输出经过校准的概率分布而非自由文本解释。这使得评估结果可直接用于设定阈值进行自动化过滤，例如仅当决策模型置信度低于某值时才触发更耗时的全量 LLM 评估。文中展示了三种问题类型（noul、choice、score）对应的标签映射逻辑，并通过 Lambda 函数封装 OpenTelemetry span 数据以适配不同后端接口。 实施路径强调先在小规模真实流量上建立带有人工标注基准的验证集，再对比决策模型与人类标注的一致性、校准曲线及分歧案例，确保其判断漂移可控。最终推荐采用级联模式：所有会话先经快速决策模型打分，仅低置信度样本进入深度分析环节。此方法显著降低在线评估成本的同时保留了对关键错误的捕获能力，适用于需要高频、低成本质量监控的生产环境。