CoSec 基准测试显示持久化 LLM Agent 在跨社区场景中频繁违反隐私与授权边界

论文提出 CoSec，这是一个针对在固定或动态社区环境中运行的 LLM Agent 系统的可执行基准测试，旨在评估隐私保护和授权执行能力。该基准包含 208 个涵盖不同社区边界状态、受保护信息归属以及通过对话、环境内容、持久记忆和组合工作流进行攻击的典型场景。测试验证了 Agent 系统在执行完整会话、管理记忆、文件和工具时的信息流向是否符合当前的授权状态。

实验结果显示，尽管许多 Agent 能够成功完成良性任务，但在跨越社区边界时频繁发生隐私泄露和授权违规。研究指出，隐私行为的表现因测试框架、攻击面和社区状态的不同而存在显著差异，揭示了记忆、文件、工具和复杂工作流可能将受保护信息传播到超出授权范围之外。这一发现表明，任务效用（utility）并不隐含隐私或授权合规性，且持久化 LLM Agent 在社区设置中的授权问题仍是一个未解决的安全挑战。

事实层面，CoSec 提供了具体的 208 个场景和可执行的验证机制；推断层面，现有评估体系未能充分覆盖 Agent 在复杂协作环境中的风险；猜测层面，未来 Agent 架构若缺乏对动态社区边界的显式建模，其商业化落地将面临更高的合规成本和安全审计压力。