PROVISO 控制器提出以增强 LLM Agent 安全性与效用

该论文提出 PROVISO 控制器，用于在 LLM Agent 提议执行动作后、实际执行前决定最终动作，旨在解决现有防御手段因未追踪内容来源（用户或外部工具）且孤立评估动作而导致的安全与效用权衡问题。PROVISO 将可信观察、外部观察、提议动作及替代方案编码为带来源类型的记忆，通过角色特定查询关联信息，并承诺执行经过校准价值学习得出的最高分动作。 在涵盖 Agent 生命周期的四项安全任务中，PROVISO 在安全性与效用上均优于所有基线模型。具体数据显示，其在 SkillsBench 基准上将 F1 分数较最强基线提升了 13.84 点，在 ToolSafe 上提升了 7.07 点，并在另外三个技能检测基准上达到了 88-99 的 F1 分数。这些结果直接证明了引入来源类型记忆能有效区分动作内容的可信度。 事实层面，该研究明确展示了 PROVISO 在四个特定基准上的量化性能提升。推断层面，这种基于来源类型的记忆架构可能成为未来构建高可靠性 Agent 系统的标准组件，特别是在涉及第三方工具调用的复杂场景中。猜测层面，虽然论文声称解决了安全与效用的权衡，但其在真实动态环境中的长期表现及计算开销仍需进一步验证。