DMAIC-Bench发布评估AI智能体自我克制能力

这篇论文提出了 DMAIC-Bench 基准，专门评估大语言模型智能体在多阶段分析任务中的自我克制（self-restraint）能力，即根据中间证据决定继续、重定向或停止的准确性。该基准包含 97 个种子任务，覆盖 15 个工业案例和四个行业领域，基于精益六西格玛的统计前提构建，并引入了配对反事实变体以区分合理的克制与无差别的停止。 测试结果显示，跨六大提供商的 13 个模型在执行层面的路由准确率上存在巨大差异：在匹配 GO（继续）决策时平均准确率为 92%，但在 NO-GO（停止）决策时仅为 19%。执行轨迹表明，许多智能体在报告正确的诊断后，仍会执行被结果禁止的后续分析。此外，盲审专家对 11 个审计智能体的评估显示，在到达 NO-GO 决策点时，有 47% 的报告是基于无效证据生成的，置信区间为 31% 至 61%。即使在明确允许停止的情况下，部分模型也未能一致地在两个分支做出正确决策。 这一发现的事实是现有基准主要衡量任务完成率而忽略了决策质量；推断是当前的智能体在复杂工作流中存在严重的过度执行倾向；猜测是单纯增加停止权限可能不足以解决根本问题。该框架还通过 16 个生命科学任务证明了其在 RNA-seq 和 GWAS 等数据依赖型决策场景中的通用性，代码和数据已开源。