SafeActBench揭示智能体证据到行动链断裂问题

这篇来自 arXiv 的论文通过 SafeActBench 基准测试发现，工具使用型智能体（Tool-using agents）在从决策到执行的过程中存在严重的“证据到行动”链条断裂问题，即正确的最终结果并不总是由事前建立的确凿证据所支持。研究覆盖了十个模型配置，显示静态动作评估能力较强，但交互式执行表现较弱，失败往往始于执行前：智能体要么在证据不足时停止调查，要么在未满足前提条件时贸然行动。 该研究引入了包含 656 个案例的 SafeActBench 基准，涵盖六个操作领域和五种协议，用于追踪从静态判断到多步骤工作流的完整过程。通过“溯源绑定证据账本”（Provenance-bound Evidence Ledger）和确定性轨迹评估器，作者量化了信息确立的时间点、行动发生时刻及下游依赖是否满足。结果显示，一旦获取必要证据，单步执行通常可靠，但多步工作流会暴露未解决的先决条件和执行不完整的问题，表明失败不仅源于信息缺失，更源于智能体如何利用已确立的证据进行决策和执行。 事实层面，该研究明确区分了单步与多步执行的可靠性差异，并提出了新的评估指标。推断层面，这意味着当前主流的智能体框架在复杂任务编排中可能存在隐蔽的安全隐患，仅靠最终结果验证不足以评估其安全性。猜测层面，若行业继续忽视这种“证据链完整性”的监控机制，未来在金融、医疗等高风险领域的自动化部署将面临合规与信任危机，但这需要后续实证数据支撑。