AgentEval 发布：基于证据约束的状态化智能体评估系统

该论文提出 AgentEval 系统，旨在解决仅凭任务完成度无法判定状态化智能体是否履行义务、且记录判决不能保证支持证据有效的问题。该系统通过工具执行、状态与事件捕获、报告资格认定及案例维护全流程，生成合同绑定的评估记录，明确分离智能体的行为、证据确立的事实以及结论在当前场景下的支持程度。 在 32 个工具世界管理场景中，独立检查确认了全部 30 个完整episode的满足、违反或未决义务状态，并保留了两个中断的管理案例。通过对 48 个证据视图的受控干预，系统在未改变智能体行为的情况下，暴露出 36 处哈希检查遗漏的绑定故障。此外，Scenario Studio 模块将审查过的案例连接至 12 份两回合报告中的 24 个独立核查答案，并在针对 192 个保留执行样本的公开基准研究中，识别出更广泛任务失败背景下的 10 个已完成返回子目标，从而隔离了缺失证据的影响。 事实层面，该研究展示了可执行评估记录使智能体评估工作流中的范围、证据支持和报告复用变得可检查。推断层面，这种机制可能提升复杂 Agent 系统的审计能力，使其从单纯的结果导向转向过程与证据的双重验证。猜测层面，若该框架被广泛采纳，可能会推动行业建立新的 Agent 评估标准，但具体实施成本及对现有评估体系的替代程度仍需观察。