AgentEval 提出基于证据约束的状态化智能体评估系统以区分任务结果与证据有效性

该论文提出 AgentEval 系统，旨在解决仅凭任务完成度无法判定状态化智能体是否履行义务、且记录判决不能保证支持证据有效的问题。该系统通过工具执行、状态与事件捕获、报告资格认定及案例维护全流程，生成合同绑定的评估记录，明确分离智能体的行为、证据确立的事实以及结论在当前场景下的支持程度。

在 32 个工具世界管理场景中，独立检查确认了全部 30 个完整episode的满足、违反或未决义务状态，并保留了两个中断的管理案例。通过对 48 个证据视图的受控干预，系统在未改变智能体行为的情况下，暴露出 36 处哈希检查遗漏的绑定故障。此外，Scenario Studio 模块将审查过的案例连接至 12 份两回合报告中的 24 个独立核查答案，并在针对 192 个保留执行样本的公开基准研究中，识别出更广泛任务失败背景下的 10 个已完成返回子目标，从而隔离了缺失证据的影响。

事实层面，该研究展示了可执行评估记录使智能体评估工作流中的范围、证据支持和报告复用变得可检查。推断层面，这种机制可能提升复杂 Agent 系统的审计能力，使其从单纯的结果导向转向过程与证据的双重验证。猜测层面，若该框架被广泛采纳，可能会推动行业建立新的 Agent 评估标准，但具体实施成本及对现有评估体系的替代程度仍需观察。