TraceTrial-Bench 发布：95 个专家级任务揭示 Agent 框架可靠性与模型表现分离现象

该论文提出 TraceTrial-Bench 基准，首次将评估重心从单纯模型能力转向支持 Agent 运行的 Harness（框架）可靠性，涵盖上下文、执行、治理等七个维度。研究构建了 95 个具备可执行或状态基线真相的专家级机制导向任务，在 4 个 Harness、9 个模型和 95 个任务的组合下完成了 3,420 次运行评估，结果显示宏观平均 Harness 得分介于 59.8% 至 72.0% 之间。

核心发现在于任务成功率与框架指标的非同步性：31.1% 的成功案例中，Agent 至少在一个 Harness 标准上判定为失败。这一数据通过 Trajectory Tracing（轨迹追踪）模块捕获的执行痕迹以及 Multi-source Evidence Acquisition（多源证据获取）模块提供的上下文、框架与环境证据得以验证。Failure Attribution（故障归因）模块利用显式机制链进一步支持了运行时级别的故障定位，证明部分任务成功可能掩盖了框架层面的逻辑缺陷或不可靠行为。

事实层面显示现有 Benchmark 过度关注模型本身而忽视支撑层，推断表明当前 Agent 系统的可靠性评估存在显著盲区，即模型输出正确不代表框架调用安全或可控。这提示工程实践需从单一模型优化转向框架与模型的协同设计，特别是在需要高可信度的生产环境中，必须引入独立的 Harness 审计机制而非仅依赖最终任务结果。猜测成分在于该基准是否会被主流开源社区采纳为标准测试集，目前尚无数据支持其生态影响力。