ReplayRCA 基准测试显示后验诊断表现无法预测实时干预能力

ReplayRCA 提出一种基于因果修复（causal repair）的 Agent 失败归因新基准，通过环境回滚并替换决策动作来量化诊断效果，而非依赖标注一致性。在 OpsWorld 多步骤任务环境中，Grok 4.7 在事后尸检赛道达到 +51.3 分的因果修复得分，但 DeepSeek V4.1 Flash 等小参数开源模型在实时监督赛道表现最佳，且与 GPT-6.1 Sol 等旗舰模型在事后诊断上的排名存在显著错位。

核心证据在于两类场景的性能解耦：强制强模型在最后一步干预会导致其得分下降 17.1 点，证明基于标注的归因捷径无法迁移；同时，事后诊断最强的模型（如 GPT-6.1 Sol）在实时监督中反而最弱，两者相关性极低（p = 0.002）。该研究还指出，在 62 个校准的系统性失败案例中，有 5 项未被任何模型修复，且前八名模型间统计差异不显著，表明当前前沿模型在复杂 Agent 故障定位上仍存在明显瓶颈。

事实层面确认了现有基准在评估 Agent 容错机制时的局限性，推断出“高事后诊断分”不等于“高实时干预价值”，这直接影响企业构建 Agent 监控系统的选型逻辑。猜测部分认为，未来若需部署实时干预层，不能仅参考事后归因榜单，而应针对特定工作流进行独立压力测试，否则可能误判系统可靠性。