跳到正文
原文
AWS Machine Learning Blog· Suheel Farooq·· 4 小时前精选AI 评分82

AWS 实测 Grok 4.7 推理层级:xhigh 全对但成本高昂

Build long-horizon agents with Grok 4.7 on Amazon Bedrock

AI 导读

SpaceXAI 的 Grok 4.7 模型现已在 Amazon Bedrock 上线,AWS 通过构建工具调用智能体并在三个需搜索而非查表的复杂任务上进行测试,验证了该模型在不同推理努力(reasoning effort)层级下的表现。实验结果显示,在总共 72 次运行中,Grok 4.7 成功回答了 67 次;其中 xhigh 层级在所有 18 次运行中均给出正确答案,而 low 层级仅答对 15 次。

关键发现在于推理层级与资源消耗的权衡机制。xhigh 层级虽然实现了 100% 准确率,但其平均输出 token 数达到 9,147,约为 low 层级(1,184)的 7.7 倍,且耗时显著增加。相比之下,low 层级以极低的 token 消耗提供了约 83% 的正确率,适合对容错有空间或答案需下游复核的场景。值得注意的是,不同层级主要影响模型的思考深度而非探索广度,各层级的工具调用次数基本持平(17-18 次),说明额外算力主要用于验证候选答案而非获取新信息。

基于此,对于生产环境部署,建议将推理层级作为请求级参数进行动态配置,而非固定于整个智能体。对于涉及优化、假设检验等需要多路径权衡的任务,应默认使用 medium 或 higher 层级以确保准确性;而对于单路径机械步骤,low 层级更具性价比。此外,监控输出 token 数量可作为生产环境中判断推理是否异常的有效信号,低于特定基线的运行值得标记审查。事实部分基于 AWS 提供的 72 次实验数据,推断部分关于层级切换策略和监控阈值是基于文中观察到的 token 分布特征得出的工程建议。

推荐理由

实测数据揭示 xhigh 推理层级在复杂任务中实现零错误,但 token 消耗是 low 层级的七倍半,为工程选型提供量化依据。

来源:AWS Machine Learning Blog · aws.amazon.com