跳到正文
原文
arXiv cs.AI· Egor Pakhomov, Erik Nijkamp·· 2 小时前AI 评分65

Attributing Agent Failures to Their History Needs an Executed Counterfactual: Toward a Reporting Standard

Attributing Agent Failures to Their History Needs an Executed Counterfactual: Toward a Reporting Standard

AI 摘要

该论文主张对长周期智能体(Agent)失败原因的归因必须基于可执行的反事实干预证据,而非仅依赖对已完成轨迹的人工标注分类。作者指出当前主流方法存在缺陷,即评审者阅读转录文本后直接命名失败原因,缺乏对历史因果关系的验证。

文中定义了四种干预类别,并引用了 DoVer、REFLECT、Min et al.、Who&When Pro 及 Causal Agent Replay 等现有方法作为先例,这些方法虽能从检查点或记录状态重新执行前缀,但均未报告经过测量的重放证书(replay certificate)。为警示缺乏标准的后果,作者展示了两个测量案例:其一是一个分类体系中的“集中度”无法与基准构建分离(调整后的优势比为 1.15,区间跨越 1);其二是在哈希相同的快照中,恢复至相同种子的进程在 24 个状态中有 24 个相互一致,但与实时延续相比分别有 9 和 20 个状态不同,而恢复随机流的捕获位置则使所有 24 个状态与实时运行一致。

该研究要求未来报告必须包含状态恢复的测量值及匹配估计量的重放证书,以区分事实与推断。目前该工作已被 NeurIPS 2026 的 IAB Workshop 接收为非存档论文。这一标准旨在解决信息污染问题,防止将模型生成的幻觉误判为真实的历史因果链条。

来源:arXiv cs.AI · arxiv.org