Grafana Labs 提出用 SLO 和错误预算衡量 AI 智能体行为

Grafana Labs 提出将传统 SRE 中的服务级别目标（SLO）和错误预算概念应用于 AI 智能体，旨在解决传统可观测性无法衡量模型输出质量、幻觉及任务完成度的问题。该方法通过评估指标（SLI）将响应依据性、毒性、成本等维度转化为可衡量的行为标准，并设定如 30 天内 95% 对话完成请求的目标，剩余部分作为可容忍的错误预算。 这一框架的核心价值在于建立基于预算消耗的决策模型：当预算充足时团队可继续尝试提示词或模型变更，预算耗尽则转向修复质量而非引入新功能。文章指出，相比传统告警仅能发现突发故障，监控错误预算能更敏锐地捕捉因模型微调或检索变化导致的每日零点几个百分点的质量缓慢漂移。同时，材料提及 Anthropic 提出的 pass@k 与 pass^k 区别，强调生产环境需关注始终成功而非偶然成功，而 OpenTelemetry 正制定标准化语义约定以统一跨框架的遥测数据。 事实层面，该方案依赖 LLM 裁判或确定性检查来生成 SLI，且明确承认若评估器本身存在分类错误，会导致虚假的精确感。推断上，这种模式标志着行业从单纯关注系统可用性转向关注行为可靠性，要求组织必须建立代表性数据集和人工审查机制来验证评估器。猜测成分在于具体阈值（如 85% 或 99%）的行业共识形成速度，目前仍需各组织通过历史基线自行推荐目标值。